详解谷歌最新光场视频，体验VR头显里的光场世界

影像技术的发展给我们带来越来越逼真的视频体验。3D视频能让我们看到立体的影像，VR能带来360度的沉浸感。目前高端3D VR视频都说能让人身临其境，但是我们的视觉是穿越过去了，却并不是真正的“走进”虚拟世界，只是站在一个摄像机机位的旁观者。目前，很多公司都在尝试以光场拍摄来实现视频里六个自由度的运动。

3月15日，谷歌在Steam上线新应用《Welcome to Light Field》,发布多个光场视频，支持HTC Vive、Oculus Rift以及Windows MR系列头显。带上这些支持六个自由度运动追踪的头显，我们就可以真的在光场视频里走一走、看一看了！

我们目前已经熟悉了3D视频，VR视频，但是要理解光场视频、光场相机的拍摄原理可能还得花费一些功夫。

六个自由度的光场视频

（《Welcome to Light Field》VR体验录屏，来自Youtube）

在《Welcome to Light Field》中，用户首先会看到一些教程，谷歌花费了不少心力来解释2D、3D、光场视频的不同。例如，拍摄一个室内环境，2D只能提供平面效果，就像你在翻阅杂志。3D视频利用多个摄像头拍摄后期处理成双目视差效果，可以让你感觉到立体感，就像在看立体的模型。

而光场相机则是将光线以场的方式记录下来，使得最终能够还原场景任意位置的任意光线信息。除了双目视差以外，光场相机还能够提供运动视差（运动视差是一种深度线索，当我们运动时，会发现离我们近的物体运动得快，离我们远一点的物体运动得慢）。 在谷歌光场视频中，你会感觉到视频中的虚拟物体就在你身边，你稍微移动一下位置，近处的虚拟物体的角度会有较大变化，而远处的虚拟物体变化较小，近处和远处的物体光线变化也不一样，这样你会感觉你置身于一个真实的3D场景中。

这些体验需要有支持6Dof运动追踪的头显，这样你在真实空间的运动会带来虚拟场景的实时变化，真实的运动和虚拟的运动会保持一致。

例如前两个图片显示，观看者与桌子上的茶具的距离发生了明显的变化，说明用户改变了在光场视频里的位置和视角。而隐约可见的一条白色环线显示出可移动的范围。

《Welcome to light Field》令雷锋网 (公众号：雷锋网) 编辑印象最深的例子是，谷歌用光场相机拍摄了St. Stephen Lutheran大教堂著名的彩色琉璃窗户。这扇窗户由1400块彩色玻璃组成，由知名设计师Roger Darricarrere设计。当光线穿过彩色玻璃，会在白色的教堂墙上投影出色彩斑斓的光斑，光线和色彩的变化都让人惊叹。

谷歌的光场视频还包括其他场景：美国艺术和工艺风格建筑的典范——Gamble House、马赛克艺术 Mosaic Tile House、航空航天博物馆等。在Gamble House中，谷歌拍摄了一对年长的夫妻拥吻的画面，他们静止不动，而光线在他们周围不断变化。

雷锋网发现，这些光场视频都是静态的场景。也就是说，如果要拍人物，需要人物保持长时间不动。谷歌是如何实现静态光场视频拍摄，这个技术对行业有什么意义呢？

新一代光场相机

上图是谷歌展示的光场相机，可以看到，这是一个带有不少镜头，能旋转的大家伙。谷歌在博文中解释了核心技术，他们改装了一套GoPro Odyssey Jump相机平台，利用16个GoPro组成了一套弧形拍摄系统，安装在一个旋转平台上，相机旋转拍摄一周大概需要一分钟。摄像机记录下光线，然后光场渲染技术可以通过采样和插值，在球面体积内的任何地方合成场景的视图。

目前我们看到的360度全景相机、光场相机大多是一圈相机，视觉能覆盖整个360度的空间。

（Lytro Immerge 2.0光场相机）

北京电影学院未来影像高精尖创新中心研究员宋维涛告诉雷锋网，谷歌这种旋转摄像头的设计，在学术界可以称为用时间换取空间。因为要旋转一周，花费1分钟的时间，因此只能拍摄静态的视频。这种旋转摄像头的方案的好处在于，其需要处理的数据量变小，同一时间内只需处理16个相机的数据量。而像Lytro的光场相机有上百个摄像头，同一时间处理的数据量极大。

Lytro的光场相机可以拍摄出画面很好的静态光场视频，也能拍摄动态视频。但是Lytro目前定位在影视制作，它是拍摄下来后，后期编辑时选择角度来进行编辑，并不是像谷歌可以是实时的6Dof视频，支持用户在VR头显里体验。

西顾视频CTO李文松认为：“静态6Dof场景其实之前类似Lytro、Mattetport、adobe之类的方案都可以做到。从技术上讲并不比Lytro的相机更强，但是更便宜。但目前最便宜的静态场景重建是Matterport。”

雷锋网了解到，谷歌、Lytro、Matterport的光学相机其实都是由里到外的拍摄，从相机出发去记录外部空间，即使是拍摄动态的视频，其可以记录的范围也是会限制在相机的周围。

谷歌的这款光学相机可以支持70*70cm的移动范围，相当于人迈出两步的距离。也就是说，光场视频支持用户走出大约两步路，超出这个范围，视频将会失真或者无法呈现光场效果。

而英特尔、微软目前都在尝试从外到里的拍摄方式，搭建光学摄影棚来进行拍摄。英特尔也曾以光场拍摄记录正常足球比赛，实现在观看时可以选择不同球员的位置观看比较，也可以360度重新观察一个球员的全部动作。从外到里的方式能够获得更大的可移动范围，但是其也有场地的局限性。

除了拍摄以外，光学视频的显示也值得注意。我们都知道，光场视频需要全新的视频格式。谷歌实现了光场视频拍摄、后期处理、呈现，使得我们可以用VR头显观看。 谷歌称，光场视频在一个自定义数据集文件中压缩处理，Unity引擎中的插件实现的特殊渲染软件可以读取该自定义数据集。 而由于目前光场视频显示格式不一直，其他大多数光场视频还处于无法直接展示的阶段。

宋维涛认为，谷歌新一代光场相机目前最大的意义就是可以付诸应用。 谷歌让光场视频变得可以被广泛的用户体验，这对教育市场，寻找更多的应用场景有很大的意义。

谷歌一直致力于影像技术的发展，此前其推出了 Jump 全景VR视频平台，与Go Pro、小蚁合作开发360度3DVR 全景相机，此后与联想、小蚁推出更为简易的 VR 180相机 。光学相机使谷歌在这方面更进一步，但是未来的路显然还很长。

宋维涛也聊到光场相机、光场视频的未来发展。他认为："未来光学视频应该在支持光学显示的头显里播放。例如，Magic Leap主打光场显示，我们的眼镜可以聚焦在不同的虚拟物体上，而不是一块显示屏上。其次，光学视频的编码、压缩、传输格式和方式还有待统一。最后，在交互方式方面，未来光学显示的虚拟物体与真实物体将会有更好地融合、交互。"

相关文章：

专访小蚁达声蔚：如何与谷歌合作，打造消费级3D VR相机

。