5G娱乐生态丨5G与动作捕捉，开启人机交互新变革

10月18日，由亿欧公司主办、粤港澳大湾区研究院、四方网盈、深圳市智慧城市建设协会联合主办的“预见·5G娱乐生态论坛”在深圳市前海华侨城JW万豪酒店成功举办。其中，瑞立视CEO许秋子出席本次论坛并发表“5G时代下的人机交互技术和娱乐生态变化”的主题演讲。

许秋子在本次演讲中针对“ 动作捕捉 技术”在过去的发展变化、5G来临后的前景展望以及瑞立视未来的战略规划布局等内容进行深度解析。据悉，深圳市瑞立视多媒体科技有限公司（简称 REALIS），是一家专注研究光学定位动作捕捉产品和沉浸式智能人机交互行业应用解决方案的高科技公司。

以下是许秋子的演讲原文，亿欧AI科技频道在不改变嘉宾原意的基础上，进行了编辑。

虚拟化身 的关键技术，动作捕捉的神秘背后

各位观众大家好！今天和大家简单交流一下，探讨在5G时代下人机交互技术这一领域的发展和变化。我们公司是做动作捕捉技术的，总部位于深圳。作为一家以技术为驱动的公司，我们自主研发了一套动作捕捉系统，包括从底层的算法到硬件的开发等等。

基于这些技术，同时也得益于长期保持着充分的行业交流，我们也可以提供行业应用的整体解决方案。（它们）可能在细分的领域上有些不同，实际上，这背后所使用的技术手段也不尽相同。接下来，我具体讲讲我们如何将动作捕捉技术融合到方案中。

动作捕捉技术，顾名思义，其实就是把人的动作通过使用一些空间定位的标记点（进行捕捉），进而同步到虚拟的角色上面。实际上，虚拟人物的构建是需要比较多的混合性、复杂性的技术（我们不展开讨论）。动作捕捉的底层就是“空间定位”。而动捕的过程我们可以这样去理解：把空间内实际需要的三维坐标、三维数据同步到虚拟世界里面。

在目前的市场上，使用动作捕捉技术的产业链是比较多的。我们公司已经将它应用到了很多的行业方向。比如说，一个巨大的空间，200平方米甚至是1000平方米，里面有很多的玩家，他们需要在虚拟的场景里面进行互动。那么，通过动作捕捉就可以实现将所有人的实际动作实时同步到虚拟场景中。

我们前期做了大量线下娱乐的项目。在今年，往文旅和展览、展示行业方向做了很多的拓展，也落地了很多的项目。

简单来说，在一个特大的空间里面，我们把整个虚拟的场景都进行带有互动功能的同步。不光是针对单个虚拟的角色，而是包含了一整个场景，比如说一片草原、一个战场或一个家庭火灾的逃生现场。我们把它们全部做了一个空间的定位同步。这样，人与虚拟场景中的物件进行互动、不同虚拟人之间的动作互动都得到了实时同步，从而实现了完全沉浸式的体验效果。

同时，因为我们底层是动作捕捉硬件的研发，所以也完成了非常多的交互项目，像一些沉浸式的展览空间、房地产展厅等，里面都需要用到人跟“虚拟景观”之间的位置信息、人跟人之间的交互信息。其原理都是通过空间定位的技术来做交互。

大家都说5G和 万物互联 的时代到来了。而我期望的是，在5G甚至是未来的6G等科技时代，我们可以实现在一个完全虚拟的空间里面进行交互。

正如大家热衷讨论的，5G跟VR、AR的结合等话题，其实大部分指的还是这种虚拟场景内的交互应用。即便处于虚拟场景，其核心关键还是人本身。人的动作、人的表情、人的语言等，这些“信息”我们都需要把它进行数字化的转化处理，而这个过程总会涉及到动作捕捉。所以说，动作捕捉技术会是未来时代在虚拟化身领域内非常关键的技术（之一）。

5G时代，让每位用户都有自己的虚拟化身

5G到底能做什么呢？哪怕在今年，我仍觉得整个市场还处在一个摸索期、探讨期。大家都在寻找5G对于我们现有的技术或产品的真正用武之地。关于VR、AR、自动驾驶等方面的讨论，都反映出大家对5G应用的一个期待。

而现在这个时间点，恐怕还没有一款设备或终端是真正意义上的融入5G时代。当然，因为5G基站的建设需要时间，用户端的数量还完全达不到普及的程度，能够实际去落地的东西其实并不多。今天，我们都是在探讨未来的趋势。

以趋势来说，早在三年前市场上已有很多迹象了。虚拟偶像这个方向，其实在两三年之前的日本就已经爆发了。因为我曾在日本工作了十年时间，所以对虚拟偶像等行业比较熟悉。但是（在国内）它目前还维持在 二次元 这样的环境里面。如果是对二次元文化或者年轻人文化不太熟悉，或者不感兴趣的人，其实很难接触到这个话题。那么如果5G到来了，我们期待的是什么 ？也许是从虚拟“偶像”到每个人的虚拟“化身”的转变。虚拟角色形象的全民普及化（比如，每个人都可以将自己打造成为一个“虚拟化身ID”）。要做到全民普及化的这个关键点是在哪里？

我们可能不光是在讨论在某个文化圈里的一种交互，比如说老年陪伴，比如说亲朋好友在虚拟世界里面的相聚，这些交互都是需要用到这些技术。那么最关键的一点就是，如何实现更加逼真、真实感强的虚拟分身互动？

事实上，使用一整套的动捕系统来驱动某个虚拟角色的技术已经很成熟。工作人员的身上要穿着紧身衣，然后贴很多个标记点。然而目前，这些都是针对B端的解决方案。那么有没有C端的解决方案呢？比如说每个用户、每个家庭都可以轻松地扮演自己的虚拟角色。这其实是我们公司今年一直在研发的方向。

从技术角度来说，大型系统的B端动捕已经接近成熟了，比如表情的同步，包括嘴形、神情等。在姿态的同步上，已经非常成熟了。在家用环境里面，显然不可能让每个家庭都拥有这么一套价值几十万甚至上百万的设备及解决方案。 如果能实现一种廉价的解决方法，比如一千元以下就可以让人跟虚拟人之间实现互动……这是未来比较大的一个痛点。

瑞立视的一个愿景，在5G时代真正到来之后，社交沟通不限于在手机上使用微信来发送文字或语音，我们将往虚拟的世界去发展。这或许需要一个前提：即每个人在虚拟世界拥有一个自己的帐号（类似微信账号的概念）。 同时，每个人都拥有自己的一个虚拟分身。而每个虚拟分身的创建需要将自己的外貌特征、表情、神态等通过三维扫描、三维建模来进行，从而以“半真实”的样子进入到虚拟世界当中（部分类似《头号玩家》）。

有了虚拟分身之后（当然这是一个比较大的宏观概念），在未来的世界里，手机和PC可能被取代了。我们可能不再去网吧玩网络游戏，而是去专门提供联机服务进入VR世界的场馆。话说回来，瑞立视早在2015年就开始做VR大空间多人互动的 线下体验 场馆。而今年的景区、全国各地的城市开始慢慢有了越来越多这样的场馆。

然后，在（未来的）家庭环境中，我们可以通过一个简单的设备，类似于过去微软Kinect体感交互设备，具有小型的双目摄像头、深度摄像头，并且它能够捕捉的内容更加细腻，姿态也更加精准。 以及当真正拥有5G通讯功能的VR投屏或诸如此类的VR、AR设备出现之后，从理论上来说，拥有了这些设备的我们就可以在家庭的环境中进入虚拟的世界：用自己的动作来扮演自己的角色，在虚拟的场景里面去跟远方的亲朋好友交流；甚至是老年陪伴，比如说和异地的的家人等相聚……这也是瑞立视的一个愿景。

从B端走向C端，瑞立视的产品布局

因为拥有做底层硬件的团队，我们以硬件为基础，再去发展成整套的行业解决方案。目前在B端，瑞立视已经做了相当多的项目，也做得比较成熟了。大体上，每年服务于企业、政府的项目数量有几十个。这也就是我们如何布局，将动作捕捉技术进行应用。

C端的产品线是今年新开发的一条产品线，就是刚刚指出的在家庭的环境里面，以一个非常低廉的价格，去把人的动作、表情、手势、姿态这些内容全部都同步在一起，然后把它映射在虚拟的角色上。

在过去，比如说上百万，甚至在大空间范围内上千万一套的设备。我们如果要把它们放在行业应用里面，这个价格真的不太现实。 这也是我们在2015年回国创业的初衷：去做国产的自主研发的光学动作捕捉的技术，能够取代欧美这一类光捕的产品。

我们的参数是直接对标海外的产品，所以在同样的技术、同样的性能参数前提下，基本上用他们价格的几分之一就可以实现整套的解决方案。我们现在做的动捕系统，几十万之内就可以完全解决整个人的身体姿态的精细同步。我们在性价比上有一个比较大的优势。

我们公司现在包括过去一直都是专注于ToB，主要是4大行业。

第一个行业，文创。

第二个行业，影视。

文创和影视都集中在娱乐这个方向，也是我们公司最大的业务版块，每年（的营业）都占公司60%以上。比如说大型的、多人互动的场馆，或动作捕捉技术整套方案的提供。

第三个行业，教育。

关于教育，瑞立视会提供一些数字媒体或教育的实训室，用于做产教融合的培训或作为课程的一部分。教育方向我们是今年开始重点发展，现在已经跟湖南的两所公立大学，成功签了二级的VR智能研究院和学院。我们直接给大学提供课程和师资。当然，内容还是围绕着动作捕捉、人机智能交互等技术。

第四个行业，军工。

军工领域是引用刚刚提到的那种大空间，比如说200平方米，12个士兵战士，一起进入一个虚拟的空间里面进行人跟人之间关于作战动作的训练。当然所有的场景都是虚拟的，角色也是虚拟的，但是动作跟交互是真实的，也是实时的。在当前军民融合的大环境下，虚拟仿真的训练具有非常大的需求。

这就是瑞立视专注的四大行业。

我们公司自己研发、生产的产品是RTS光学动作捕捉相机。有了这个动捕相机，才延伸下来四大应用系统。这四大应用系统指的是大空间多人交互系统、智能3D立体交互系统、目标物6DoF定位跟踪系统和魔方MR虚拟预演拍摄系统。

虚拟拍摄系统可以用在诸如抖音短视频或其它直播平台上，实现真人和虚拟人物同时存在于某个场景并进行实时交互的功能。3D立体交互则适用于展览、展厅方向。

从4大系统延伸下来的就是九大解决方案。这些方案看起来很复杂，其底层的技术都是相通的。且仍然是专注在影视、文创、教育和军工这四大方向。

ToC的产品线，具体细节现在还处在一个暂时保密的阶段。它是一个长线的计划，是完全不同的另外一条产品线。预计在明年会有一个公布，也是为了迎接5G的到来。当5G的基站、用户数量及相关平台能够真正运转起来，我们希望跟这些平台能有一个更大的结合。并且是围绕在虚拟分身这个主题上。

在我看来，动作捕捉的核心还是在虚拟场景里面映射人的动作、神情、姿态等。未来，这些需求会越来越多，越来越大。当然，有很多的方法可以实现。也可能是精度低或精度高的方法，有便宜的方法或贵的方法，但是实现的原理是相通的。

我们期望更大5G的带宽能够支撑更多人的互动，或者更精细的、更大的数据量的传输。有了虚拟分身之后，想象空间非常大。像我们日常的游戏娱乐、远程教育、虚拟办公等，或许围绕着社交这个领域的所有互动都会变成可能。

在家用的环境中，线下这一块是最早成熟的，特别是VR行业，也是ToB走在ToC的前面。所以其实ToB已经有了非常多元的发展。再比如，我们在大量做的沉浸式互动场馆的建设，这些项目也都非常有意思。

当国内有了更多线下体验的场所或者线下电竞的场所，能够去做这种多人互动的VR体验之后，整个虚拟的空间有望打通起来。届时，不管是在家庭环境还是去某一个线下体验店，我们都可以进入同一款游戏或者同一款IP内容进行互通。

未来，这个领域的流量和及其商业模式的想象空间非常大。作为做底层技术研发的公司，我们更多是希望跟平台型的公司进行绑定、合作。当然，我坚信虚拟分身会成为未来一个非常关键的技术（应用）。

我由衷希望在5G到来的时代，能够跟大家一起往前走，也跟大家一起见证新发展。

这就是我今天的分享，谢谢大家！

本文已标注来源和出处，版权归原作者所有，如有侵权，请联系我们。