VR全新的交互方式来了！国内首款自然手势识别技术一体机方案“骐骥” | 速途网

随着VR行业技术升级，更自然的交互方式也随之而来，自然手势识别追踪技术凭借更符合人真实操作习惯受到ToB和ToC的关注。而手势识别技术的升级也能方便打通上下游关系，加大内容开发者创作空间，增加游戏趣味性使其交互方式得到更大提升。

由趣立研发的6DoF一体机解决方案“骐骥”中已经搭载最新的自然手势识别系统，合作方可在系统中直接去调用此模块最终完成自然手势的识别任务。趣立科技也成为国内VR行业首家拥有自然手势识别产品化方案的公司，而全球目前也仅有Quest拥有该项技术。

基础技术原理

【自然手势识别】是基于计算机视觉和人工智能算法，对摄像机采集到的图像中用户手部区域进行检测和对其姿态进行估计，从而得到全自由度自然手势跟踪的技术。 通俗地可对其拆分为3个步骤：第一要解决手在什么位置；第二、解决手是何种姿态；第三、识别手在做什么？前面两项很多时候是放在一起做姿态预估，最后对动、静态手势做时间序列划分，并完成最终的指令实现。

图:“骐骥”-静态手势

从硬件来说，目前市面上常见的手势识别方案中所采用的检测设备大致分为四类：纯红外摄像机、灰度摄像机、RGB摄像机及深度摄像机。

各方案都有比较明显的优劣势，比如深度摄像机虽然可以根据深度信息较其他方法更简单的获取手部区域的位置和形状，但FOV很小、帧率很低、成本高、功耗较大，而且目前VR一体机的现状，手势识别与SLAM的摄像头需要做复用，而深度摄像头很难拿来做SLAM算法，所以目前在XR的领域应用场景中会有局限性。

红外摄像机的原理是将模块内置红外LED光源，光线反射回手势识别模块的红外摄像头中，实现基于光学数据的手势识别。由于使用主动光源，所以它的环境适应性好，也比较容易能检测到手部区域，但是它同时会加大功耗，尤其是伴随对手部使用范围的增大，需要更多数量和更大功耗的红外光，这对整体的ID设计以及成本都是非常大的挑战。此方案比较知名的则是Leap Motion。

针对灰度相机与RGB相机的方案，RGB相机由于能更好地将手和环境用颜色进行区分所以具备较好的识别作用，但同样也有FOV较小、帧率较低的问题。而灰度相机优势是FOV比较大、帧率高、覆盖范围大、适应性强、且成本相对可控，缺点则是难度系数较高，因为在黑白灰的世界中，将手和复杂的环境背景准确快地剥离开，需要在算法方面下足功夫。

而趣立科技新的6DoF解决方案“骐骥”中，融合的则是根据现有一体机的灰度摄像头进行复用的方式。趣立科技依附集团影创科技大背景，在算法实现上具有多年的经验积累和沉淀。

此项手势识别技术算法经多期打磨调整，目前已达到通用状态，算法框架可适用于任何的摄像机设备中，在未来产品中，新一代的VR一体机解决方案可能采用彩色RGB摄像机和灰度摄像机的搭配（彩色负责透视、灰度负责6DoF追踪）。而自然手势识别本质依旧会采用基于6DoF的灰度摄像头为主，彩色摄像头作为辅助在识别过程中对手在与环境剥离时的精度进行补充。

整个手势识别技术比较难的是，手与面部、人体的识别不同，因为手部复杂度相对比较高、自遮挡严重，手部可以非常快的移动并且外观可以在几帧内大幅变化。而目前“骐骥”解决方案中能做到准确性高、低延迟是因为依靠集团所属搭建自研的数据深层采集和标注平台，基于平台有非常多的参考数据，同时在深度模型的序列方面有自研成果，并沉淀了6年多的技术积累及庞大的数据参考值。

未来应用场景

【C端互动娱乐】

手势识别技术的发展能够更好地拓宽内容开发者的想象空间，在内容创作时增加多重玩法及交互体验，比如在玩音游的时候可以直接用手来操作，或是在RPG游戏中一个特定手势就可以实现魔法攻击，甚至在未来一组手势也能够完成“火影忍者”里的结印。

【B端教育办公】

B端的应用场景则更广泛。在智能办公方面，随着VR设备逐渐向办公工具靠拢，自然手势识别能更好地通过特定的放大缩小拖拽等手势，完成汇报方案演讲的展示，实现真正意义上的便携式办公环境；而教育教学中，也可更好的直接用手部识别技术完成教学课件的拆装、组合等要求，更便捷有效地完成操作互动，相信未来随着自然手势识别的更进一步发展，定能催生更多的应用场景，同时还可以根据不同需求，量身定制专属的解决方案。

未来趣立科技将融合影创总部多方资源，逐渐在其原有解决方案中集成更多的前驱技术，更好地服务上下游合作方，为其提供全方位综合技术支持。