大朋VR E4如何实现《阿凡达》般零延迟、高精度的“心灵链接”？

砍柴网 • 1年前扫码分享

我是创始人李岩：很抱歉！给自己产品做个广告，点击进来看看。

时隔十三年，重回潘多拉。12月16日，《阿凡达：水之道》在内地同步北美地区上映，目前豆瓣评分8.2，比起初代的8.8分差了不少。原因也很好理解，作为以视觉特效、科幻未来感为主卖点的商业大片，十三年后很难让观众们再像当初一样发出响彻影院的惊呼。

例如男主本体与潘多拉身体链接所应用的“心灵链接”方式，彼时称得上天马行空，让人浮想联翩。可如今随着 VR 技术不断进步，戴上头显后的我们同样可以“链接”到虚拟时空。

当然，《阿凡达》中那种零延迟同步、超高精度操控的链接方式仍旧是VR的终极目标，但已经有一些勇敢的开拓者距离这个目标越来越近。

比如大朋VR最新推出的E4，就带来了0.1s高速响应、毫米级追踪精度、超低延迟以及高稳定性的现实版“心灵链接”——Hawkeye Vslam 4cam定位系统。

至关重要的“VR之舵”

在探讨大朋E4定位技术之前，需要明确的是另一个问题：定位技术，对于VR来说意味着什么？

如果说VR是一艘航行在虚拟时空的大船，那么定位技术就是它的“舵”。VR设备完全欺骗了眼睛提供了一个拟真世界，如果身体的视觉感知和动运感知不能及时匹配，除了会降低游玩体验，还引发头晕等症状。

因此，定位技术优秀与否，对VR产品的实际体验至关重要。

长久以来，VR定位方案主要分为两种：Outside-in和Inside-out。前者通过将传感器部署在与头盔或者人体无直接连接的周边环境中（即基站），实现大范围检测，一般用于支持多人互动应用场景。

大朋VR E4如何实现《阿凡达》般零延迟、高精度的“心灵链接”？

而大朋E4则选择了便携性更佳、硬件成本更低、空间要求更宽松的Inside-out定位方案，无需架设定位基站，依靠VR头显自带的摄像头即可完成定位，去朋友家玩《半条命》终于不需要搬基站先累掉“半条命”了。

但舍弃了基站，采用Inside-out方案为玩家“减负”，实现优秀便携性的同时，想要达成同样的定位效果，对设备硬件、算法以及定位追踪方案也提出了更高的要求。为此，大朋VR做出了更多努力。

大朋VR E4如何实现《阿凡达》般零延迟、高精度的“心灵链接”？

高精度背后的技术投入

首先是头显部分，基于定位精度、速度和成本等因素的考量，大朋VR E4采用了视觉（V）+惯性传感器（I），构成Vslam实现系统。大朋VR团队基于Intel Movidius高性能VPU进行开发设计工作，重新设计传感摄像头模块的同时，也带来了全新的头戴硬件布局。

大朋E4采用4路超广角追踪传感摄像头和更高精度的IMU惯导传感器，不仅在高速演算过程中实现了速度与精度的平衡、在快速移动场景中也可更好地实现快速重定位和闭环检测。此外大量边缘计算，分布式计算的应用，也降低了对主机平台的压力。

此外，大朋E4的整套Vslam系统在机器视觉定位识别方面也具有无可比拟的优势，高效的地图结构，可用于设备间的地图共享，环境鲁棒性好，可克服光线变化的影响。定位系统不受相机参数（增益和曝光）的影响，可建立稳定的空间几何关系，大大提升建图和定位的精度。

尤其是快速重定位和环境鲁棒性这两点，对于VR 游戏的加持是巨大的。以VR热门游戏《Bonelab》为例，这款游戏强调物理交互，战斗中经常需要快速切换视角，在Hawkeye Vslam定位系统加持下，大朋VR E4在游戏过程不会出现“扭头即掉帧，晃动即失控”的情况，让游戏的乐趣不会因为设备追踪问题而受损。

至于环境鲁棒性，E4在高效AEC算法加持下，可以适应较为复杂的家庭光线情况，开灯关灯、晴天阴天，都不会让定位系统受限。

大朋VR团队在optitrack实验室环境（模拟用户真实使用场景）下测试头盔动态定位精度，以optitrack输出的6DoF数据为真值，计算头盔6DoF和optitrack真值之间的位移和角度偏差。最终测试结果达到了位移平均偏差0.0055m、角度平均偏差0.328141°的毫米级高精准度水平。