VR的短板，全景相机用什么来挽救？

近一年来，在资本方的带动下VR产业的入局者越来越多，从Oculus到国内企业都纷纷做起了VR外设，与此同时， 虚拟现实 的产品线越来越丰富。投行DigiCapital公司调研报告预测，到2020年，全球VR产业的市场规模将达到300亿美金。

但是，尽管行业发展势头很好，VR产业依旧严重缺乏内容 。可以说，原始内容的匮乏已经成为VR行业的短板。

全景相机带来的内容变革

近段时间，诺基亚发布八只镜头的虚拟现实全景相机OZO，一时成为VR内容拍摄领域的讨论焦点。太平洋彼岸的中国VR领域， 暴风魔镜 、完美幻境等也相继推出了便携消费级全景相机设备。全景相机作为VR内容生产者，正逐渐进入大众讨论的热点。这也许正预示着，在VR领域，视觉科技即将迎来一场声势浩大的技术变革。

Nokia OZO产品

Google、三星、索尼等全球科技公司也早已对三维全景拍摄设备和VR硬件设备进行了研发和投入，使得全景和VR硬件在内容及展示上建立了联系，如Giroptic 360cam、IC Real Tech Allie、柯达Kodak SP360、三星的Project Beyond和理光Ricoh Theta。

日前，这款设备命名为Odyssey的由16台GoPro组成的全景相机已经正式上线。这部全景相机售价昂贵（高达1.5万美元，约合人民币9.6万元），并且由于产量有限，只有“业界专业人士”（需提供身份证明）才可购买。而且，使用该设备采集的图像素材还需要通过专业软件进行大量的后期拼接处理方可使用。

16台GoPro全景相机Odyssey

Bublcam 360度全景相机形状类似于诺基亚OZO，280克重，直径8厘米，方便携带，相机拥有4个摄像头，配有500万像素传感器，完全能应付没有盲点的全景视频和图片。相对于GOPRO16摄像头的虚拟现实摄像机的土豪售价，Bubl全景相机仅为800美金，相信能被更多人所接受，但实际的图像融合拼接方面也还有可提高的空间。

便携式Bublcam

全景相机产品的特点

• 技术门槛

便携式全景相机除了经典全景图像处理流程之外，由于定位于消费及移动设备， 数据流的高效处理、移动设备的算法优化、良好的用户体验以及完备的产品支持都将是限制全景相机的瓶颈 。

全景相机涉及如下图象处理算法：

1、鱼眼镜头内参估计与校正。 鱼眼镜头又分为全幅鱼眼镜头（full-frame fisheye)和圆形鱼眼镜头(circular fisheye）。鱼眼镜头采用了f-θ的光学设计模型，在内参估计上和传统的内参估计在数学模型上差异很大，做好这部分技术工作的难度非常大。

2、坐标投影。 全景视频普遍采用的投影模式是Equi-rectangle投影，该投影具备2:1的宽高比，典型的用法是将该投影铺到一个球体上，在球心观察球体上的内容，可以获得无畸变的linear投影视图。将校正后的鱼眼图像数据变换为Equi-rectangle投影需要推导对应的坐标投影公式。

3、关键点检测与匹配。 为了实现后续流程中的外参估计，需要在每个镜头成像的图片中进行关键点检测，并对多个图片的关键点进行匹配，从而找到镜头之间的视场角重叠关系(FOV overlap)。这一流程的精度直接决定了后续外参估计的准确性。

4、外参估计与校正。 由于全景相机具有多个镜头，镜头之间的关系由于装配关系会存在微小的定位误差，因此需要根据拍摄的图像内容自动估算每个镜头的外参，从而实现更好地图像拼接。

5、全局参数优化。 完成了内参外参的所有参数估计后，基于关键点配对的全景图象和实际内外参估计的全景图象之间的误差决定了全景相机实际成像质量。基于该框架进行全局参数优化，可以获得更好的参数组合。

6、图像拼接与融合。 由于固定镜头之间存在恒定的光心距，在不同镜头之间的parallax error是不可避免的。传统意义上的alpha blending会导致鬼影现象，因此一套先进的边缘融合算法重要性显而易见。

全景相机的设计既要符合大众消费市场要求的便携，又要有足够的专业程度，起码要有足够出色的工业设计，包括对视角的处理，接缝的处理，镜头的选择以及相机性能优化。这并非单一解决方案就能实现的低门槛行业。动辄数千万以上的像素处理，功耗、成本、性能上的取舍与权衡，注定了这个方向上会涌现出大量不同的技术实现方案。

• 潜在应用领域需求差异巨大

对于产生的原始全景视频，由于编码中含有投影等信息，导致需要专业的播放器对视频进行预览。后期应用的推广也缺少专业配套软件。而对于不同的视频场景，需要的软件核心技术也不同，比如：

• 婚庆领域：需要高分辨率图像摄影与渲染，快速预览，基于场景滤镜（礼堂、海边、室外等），人脸美化，人脸对焦等；

• 无人机 ：需要高分辨率数据压缩与传输，低功耗设计，高压缩比数据传输，目标检测，目标跟踪等；

• 视频监控：需要长期室外运行稳定性，基于全景视频目标检测，可疑目标跟踪，禁区报警；

• 网络直播：需要基于网络带宽视频流压缩，人脸美肤，虚拟妆容，虚拟演播室等。

由于应用领域众多并且方式灵活多样，全景技术正在悄悄逼近视觉内容领域的核心位置，这也意味着现有的图像内容即将面临升级换代，消费者的体验与需求将会更好地被满足。 但是在生成全景视频后，后续的智能算法才是决定在不同市场领域全景相机能够成功应用的重点。

在高度智能化的今天，全景技术不仅可以独立应用，同时可以和多个领域进行交叉集成。而智能算法作为全景技术的核心模块，相较于其他技术而言，需要更加复杂、全面的技术储备。只有攻克了核心算法，才能在视觉内容领域掌握了未来的主动权。

编者注：本文由完美幻境技术团队投稿雷锋网。另外，完美幻境作为华人团队，将于11月赴美国出席一场科技盛会，届时将会带着新产品一同亮相。有兴趣的伙伴可以关注下。