自研多模态追踪算法，PICO 为「手柄小型化」找到新思路

9月21日,PICO展示近期遭泄露的新手柄,并对外发布了其自研的Centaur多模态融合追踪算法。

如前期谍照所示,PICO新手柄去掉了外围灯环的设计,并且没有额外增加传感器。据PICO官方透露,相比上一代手柄,新手柄重量减轻了约15g,高度减小了50%,并且还优化了内部电池和马达的位置,使其重心更靠近手心,握持手感更好,且兼具细腻振感。

通常,去掉包含LED灯的追踪灯环,势必会降低手柄的追踪精度和稳定性。而PICO全新自研的Centaur多模态融合算法,融合了光学追踪算法和CV模态手柄追踪算法,让手柄在LED灯减少或处于盲区的背景下,也能实时、有效追踪。

自研Centaur多模态融合追踪算法

VR设备的轻量化和小型化,一直是XR行业探索和努力的方向。

基于当前行业主流的“光学追踪+惯性导航系统”追踪方案,开发无灯环手柄会面临两大技术难点:首先,减少LED灯的数量,会影响光学追踪的稳定性;其次,更少的LED观测数量,会增大手柄初始化与追踪解算难度。但如果在手柄上增加新的传感器,这又会提升造价成本,并增加手柄的耗电速率。

*PICO 4系列手柄与PICO 全新研发的无灯环手柄

PICO全新自研的Centaur多模态融合追踪算法,将光学追踪算法和CV模态手柄追踪算法进行了有效融合。这不仅解决了无灯环手柄「识别难」的问题,也为XR行业的追踪交互提供了新的思路。头显既能通过光学追踪算法识别手柄上LED灯发出的红外光,还能够在LED灯被手部遮挡时,通过CV模态追踪算法识别裸手的特征,从而准确还原出手柄控制器的6DoF信息。两大算法结合手柄本身具备的惯性导航系统,使得新手柄无需增加新的传感器,也能实现稳定、精准的追踪。

创新技术研发思路

为了率先实现Centaur多模态追踪算法的产品化,PICO组建了跨部门的攻关小组,包括手柄追踪算法团队、裸手追踪算法团队和交互数据团队。经过多次论证后,最终实现了一套基于神经网络的多模态手柄追踪框架,其融合了惯性测量单元(IMU)、光学传感器和手部图像信息。

* PICO Centaur多模态融合算法 模型

在框架设计中,手柄追踪算法团队负责提升光学追踪的稳定性,并搭建算法框架;裸手追踪算法团队设计了SOTA端到端的6DoF位姿估计模型,提升手部追踪的稳定性;而交互数据团队则通过自研多源三维数据采集设备与高精重建算法,提供大量标注数据。

这样的追踪系统,不仅能基于红外 LED 实现高精度追踪,还能够利用裸手检测“隔山打牛”。为了验证效果,PICO还联合极客玩家进行了极限测试,在音游、游动健身等对追踪精度要求极高的场景下,该算法的追踪效果都可媲美PICO 4的HyperSense振感手柄。

搭建全方位自研体系

PICO Centuar多模态追踪算法的推出,得益于PICO在两大核心算法上的技术积累。PICO Neo3和PICO 4两代产品的打磨,帮助PICO 在光学追踪领域积累了扎实的技术。与此同时,PICO 在裸手追踪上也持续探索,相关技术已位列全球第一梯队。PICO通过不断优化端到端的时序模型、千万级高精训练集以及MTP延迟测试方案,在算法延迟与追踪丢失率方面实现技术突破,在 游戏 、运动等快速甩动手柄的场景下,给用户带来流畅且稳定的体验。

而这些技术创新背后,是PICO独立自研的高精度数据平台,以及专业的测试平台。

比如为了生产更符合开发需求的高精度裸手姿态数据,PICO一方面采用了业内领先的基于相机阵列的自研多视角手部姿态标注技术,另一方面针对该特定任务进行预重建,进一步提升手部姿态数据的精度。这无疑为算法的训练,提供了强大的支撑和助力。

*PICO多模态同步相机系统 采集高精度数据

近期,PICO交互数据实验室团队的研究发现,被国际顶级会议ICCV 2023成功收录,包含了一篇Oral论文和三篇会议论文。这些涉及高效数据获取、高精度数据标注、数据应用等方面的实践研究,也代表了国际计算机视觉领域的最新成果。

*PICO交互数据实验室的研究成果,被国际顶级会议ICCV 2023收录

作为全球领先的XR品牌,PICO 凭借前瞻性的技术意识和充分的技术积累,创新研发了多模态的融合追踪算法,为行业AI交互提供了全新思路,也进一步助推了手柄的轻量化,为用户提供更符合人体工学,且兼具细腻振感的交互体验。