一部手机实现高精度人体动捕，网易互娱AI Lab动捕技术入选CVPR 2023 | 速途网

近日，计算机视觉与模式识别会议（CVPR 2023）公布了论文的录取结果，网易互娱AI Lab一篇题为Learning Analytical Posterior Probability for Human Mesh Recovery的论文被该会议接收。该论文重点研究一种基于后验概率分布的人体动捕新方法，能大幅提升视频动捕的精度、稳定性和通用性，让动作动画资源制作不再强依赖高昂的动捕设备，仅需一台手机即可获得高质量的动作数据。

CVPR作为国际计算机视觉领域备受瞩目的顶级学术盛会之一，每年所吸引的投稿数量在不断增加，竞争也不断加剧。本届CVPR共收到9155篇论文投稿，相比去年增加了近1000篇，仅录用2360篇，录用率25.78%，足以说明其难度之高。而网易互娱AI Lab基于解析后验概率的人体动捕技术——ProPose能够成功入选，不仅是对其团队研究实力和创新能力的认可和肯定，更是其在人体动捕领域所取得的卓越成果的有力佐证。

在本篇论文中，网易互娱AI Lab提出了一种名为ProPose的人体动捕新方法，创新性地使用了后验概率分布的方式来推测人体关键点和关节旋转的情况，能够在单张RGB图像、多视角视频、或融合其他动捕设备等情况下实现更准确的三维人体姿态估计，从而获得更精准的人体动捕数据。在视频处理方面，Propose相比业界目前被广泛采用的SPIN方法，将误差降低了25%左右，并且在3DPW、Human3.6M和AGORA等公开的动捕测试榜单上也力压目前所有其他方案，精度表现亮眼。除视频动捕外，Propose所采用的概率框架还可无缝融合多视角视频和其他动捕设备，如惯性传感器等，且无需因为引入新设备而修改模型的主体部分，具备更好的通用性，可满足更多不同应用场景需求。

图说：Propose可更好地衡量关节旋转的不确定性，如图中右手沿手臂轴的旋转、左手臂上下摆动的朝向、左小腿的远近程度等

基于该技术方案，网易互娱AI Lab已推出了可落地使用的视频动捕工具AIxPose。仅需提供普通手机摄像头拍摄的视频，该软件可在短短几分钟内自动提取人体的动作数据，并已应用于游戏动画资源、营销舞蹈视频的制作流程，处理视频时长达到数十个小时，相比美术手K能节省80%左右的制作时间和成本。

《大话西游》联合小D的舞蹈动画制作

现今，使用动捕技术来制作游戏、影视资源已不再新鲜。但传统流程一般采用的是光学或惯性动捕，需要在演员穿戴惯捕设备，或在身上添加标记点、租赁动捕棚，通过一圈红外相机来捕获动作数据，成本极高、周期漫长。在AIGC大热的当下，如何摆脱传统流程的瓶颈和束缚、提升生产效率，对于竞争日益激烈的游戏或影视行业而言都至关重要。AIxPose视频动捕工具用更轻量级、高效率、低成本的动捕方式，可以帮助解放美术生产力，让美术在有限的时间内把精力投入在其他更有价值的工作上，从而打造更精品的内容。

网易互娱AI Lab成立于2017年，一直致力于游戏行业的AI落地场景研究。除AIxPose视频动捕工具外，实验室在AIGC领域拥有一系列前言的AI内容生成技术，从基于语音生成面部表情和口型动画、基于音乐生成舞蹈动画，到时下大热的AI绘画等都有涉及。未来，实验室将持续致力于让AI技术服务于商业，创造更多的现实价值。