这家公司可能解决了VR电影的最大难题

雷锋网  •  扫码分享
我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

Sebastian Marino是一个略微有点陌生的名字,但你肯定看过詹姆斯·卡梅隆的经典之作《阿凡达》。Marino曾凭借在《阿凡达》中出色的特效工作为影片赢得奥斯卡金像奖。

某夜,他化身一名导演,在他的公寓拍摄了一段电影片段。他与他的团队架起一排摄像机,在一个绿色的荧幕前对两名女演员进行拍摄。只有其中一人有台词,她略带神秘地说,“我猜你现在心情应该有点像历险记中掉进兔子洞的爱丽丝,我建议你谨慎选择”。她指向一个方向,又指指另一个方向。拍摄内容结束后,大家卸掉荧幕回家了。

但Marino的工作还没有完成,接下来他需要将这个片段进行后期制作。

经过一夜的处理,早上他把生成的文件载入 Unity 3D 游戏引擎中,并将这两名女演员置身于一间公寓中。在一个房间中,一面墙上有霓虹灯,另一面墙上的挂灯发出的光芒投射到女演员的右侧。在另一间房间中,他使屋内的灯昏暗地发出红光,使人看不清另一名演员身上的穿着。

虚拟现实 的难题

事实上,这并不仅仅是个电子游戏,它是一个电影。确切来说,它极有可能是第一部真正加入真人角色的虚拟现实电影。之前讲话的女演员看起来一点都不像电子游戏角色,她看起来跟本人一模一样。她穿着同样的衣服,脸部动作十分逼真,行为举止流畅。然而,她正站在一个实际上根本不存在的房间中。

Marino与其初创虚拟现实公司Uncorporeal想要通过现实途径,解决虚拟电影制作中的难题。更加令人吃惊地是,他与另外两位联合创办人(他们曾在卢卡斯影业,WETA,欧洲太空属,Google X,微软和Electronic Arts工作)已经秘密地完成了这项工作。他们独立完成了公司的种子投资,并从未在现身于任何虚拟现实会议,并且各项对外联系均利用母公司的电子邮箱,所以没有任何人捕捉到Uncorporeal存在的信息。Marino说,“知道我们的工作的人数,用手指跟脚趾就能数过来”。

随着时间驶向2016年,期待已久的虚拟现实技术投入市场的日子也越来越近,但仍有一个现实难题急需解决。这个难题并不是模拟器性能不足,分辨率不高之类;这些硬件问题目前都已被有效解决,虽然仍称不上完美,但其性能相比于18个月之前,其变化已经超乎想象了。这个难题亦不是输入问题,即将出现的三种用户系统(Oculus Rift,HTC Vive和Playstation VR)均有不俗的表现。此难题也无关内容:从开发中的几十款游戏到 Netflix 公司的虚拟影院,再到虚拟博物馆之旅,这些都保证了其适用性。

Uncorporeal相机抓取实时几何数据

难题是电影。

具体来说,是真实动作视频捕捉。消费级虚拟现实依靠外部摄像头追踪头盔的环境,并将其移动和位置转化成虚拟环境。这称为位置跟踪,而在 虚拟现实游戏 中,正是这项技术让你可以通过蹲下、斜靠和弯身,在游戏中实现在椅子后蹲伏、障碍物后侧窥视以及在桌下巡查这些动作。但,现在还不能将位置追踪加入到视频中。

试想一下:你将一系列摄像头放置于一个中心点周围,作为头戴头盔的人的眼睛,那么你只能看到这点周围360度的视野。在虚拟现实中最佳的“六自由度”中——左右点头、转头、歪头,并向三个方向移动——虚拟现实视频在移动中有极大的限制。换句话说,你可以在即有位置上任意活动,但不管你怎样蹲伏或者倾斜身体都不能改变位置,这会在使用时造成很大不便。

为了解决位置追踪这一问题,数个虚拟现实电影公司都选择制作皮克斯那样的CGI电影,即使用为虚拟现实优化的游戏引擎,如Unity 3D和Unreal 4,制作像游戏一样的视频。(这种奇怪的混合模型正是为什么在虚拟现实界,“体验”与“叙事”正在逐渐取代“电影”这一词。)但是实现位置跟踪和所有六个自由度,你将会同时失去一些东西:现实。在常规的非虚拟现实游戏中制作逼真的人类,已经够吓人了,如果再进行虚拟现实的处理,这完全是无用的。

Uncorporeal的几何数据可被用于游戏引擎制作的虚拟环境

在虚拟世界中生成真人

这就是Uncorporeal要解决的关键。他们像其他虚拟现实视频公司一样,使用一系列相机组合拍摄影片。然而,他们的镜头可以捕捉到房间的所有光场,像Lytro相机的视频版那样。简单来说,这意味着该公司拥有如此多的光样本,足够通过在亚毫米精度创建几何模型,处理画面。“我们不单单能了解拍摄物体的几何结构,”Marino说,“也捕捉这些相机所能捕捉到的所有的光,我们能捕捉到每一个像素,无论你在哪个方向看物体。”

这听起来可能有点像动作捕捉,但事实上它不是。在动作捕捉时,你制作一个人物的静态三维模型,然后让骨骼结构和其他底层动起来,形成动作效果;它可能看起来逼真,甚或是基于一个穿了内置追踪设备的服装的演员的动作生成的,但这仍然是CG。 Uncorporeal的技术更像是 “逐像素动作捕捉”,每个像素都有3D效果,可以完美实现数字化,但它本质上是一个人类演员在做表演。

不过,这只是一个人物而已。所以一旦相机捕捉到了人的动作, Uncorporeal会合成所有数据,生成一个专有的编解码器u3d,它包含有被捕捉对象的所有几何信息,以及光场信息。 u3d编码文件能直接用在 Unity 3D游戏引擎制作的场景。得到的结果就是,在虚拟环境中出现一个真实的人。光场信息让两者的结合变得天衣无缝, Marino将自家技术称为 10DVR——六个自由度加三维信息再加时间。

明确地说,Uncorporeal并不是唯一一家有所行动的公司。在今年早些时候,Lytro筹款五千万美元,欲用于光场摄影机的虚拟现实应用,目前尚未有成果公布。OTOY公司对一个空房间进行了光场渲染,但没有人类动作。而Uncorporeal貌似是将图像捕捉和视觉效果结合起来的第一人。通过捕捉真人举动和表情,它能为虚拟现实影像保有亲密感。通过对人物进行渲染,并引入可进行位置追踪的虚拟空间中,它又能达到只能在CGI中才能体验到的临场感。

好莱坞也对这项研究时时跟进。Marino证实,Uncorporeal正低调地同数个工作室进行密切联系。“因为在种子投资期间,我们是自食其力的,所以我们并不需要大张旗鼓引人耳目。在联系人方面,我们可以自由选择”。尽管他们向来避免在虚拟现实活动中露面,他们将参加今天于纽约开幕的Future of Storytelling(未来叙事)大会,并使用DK2向众人展示真正的电影叙事的未来是什么样的。

Via wired

随意打赏

提交建议
微信扫一扫,分享给好友吧。