用手机也能玩3D全身动作捕捉，相芯科技发布虚拟形象全身驱动技术

五月中旬,相芯 科技 发布全新的“虚拟形象全身驱动”demo,只需要普通的 手机 摄像头,即可实现虚拟形象的3D全身动作捕捉,让虚拟形象从面部到肢体、手势都能实现与真人实时同步。这是继相芯科技在通过普通的摄像头,就能实现虚拟形象面部实时表情驱动之后,对虚拟形象的实时交互的又一大功能突破。目前,相芯科技的虚拟形象全身驱动技术已经具备成熟的demo,SDK支持iOS和Android端接入,开发者可将其轻松接入到自己的产品中,感受“黑科技”满满的虚拟形象全身驱动。

相芯科技发布虚拟形象全身驱动demo

虚拟形象在很多APP中都有应用,比如日活用户达到4亿的抖音APP,其中一只凭借#俄舞挑战#成名的“猪小屁”就是采用真人实拍+3D虚拟形象相结合的方式诞生的,而在 苹果 iOS13中推出的Memoji捏脸,之前大火的ZEPETO APP,其实都是对虚拟形象技术不同程度的应用。不过在用户与虚拟形象之间的互动交互上,这些应用中都集中在人脸的部分,这无疑会限制用户的可玩性和想象力。相芯科技发布的全身驱动技术,则打破了这样的单一局面,使得虚拟形象的全身都能实时互动起来,让大众用户可以玩出更多新奇玩法。

只需普通手机摄像头,全身都能动

相芯科技打破全身动作捕捉的高门槛

对于虚拟形象的全身动作捕捉,在以前的实现方式对专业门槛要求很高,需要配合价格高昂的动作捕捉设备和高精摄像头进行动作捕捉,而除了昂贵的设备外还需要专业化的制作手法,因此无法在日常中普及应用。此次相芯科技推出的虚拟形象全身驱动技术,是一项全新的技术突破,仅需使用普通的手机摄像头拍摄,通过视频分析,就可以同步视频中的人体动作,实现对3D模型的实时驱动,这意味着非专业用户在进行视频内容创作时,可以非常简单的应用该技术,让使用场景更多元。除了导入视频,用户也可以选择实时模式,打开摄像头,就可以直接驱动自己的虚拟形象。

虚拟形象在网络中越来越受欢迎,不仅可以增添乐趣,帮助有“恐镜症”的用户在网络中更好的交流,在陌生人 社交 中更好的保护个人隐私,更重要的是虚拟形象正成为大众用户在网络世界中的数字化身,随着更多应用的接入,使用的场景和领域也将越来越广阔。

在推出“全身驱动”技术后,相芯科技在个性化虚拟形象这一领域中,完成了虚拟形象自动创建(PTA)、造型自定义、全身实时互动的一整套完整的“虚拟人”解决方案,提供全栈式的服务。

短视频、直播领域直接受益,5G新基建下加速内容创作

前不久,中央政治局常委会会议强调,“加快5G网络、数据中心等新型基础设施建设进度”。而随着这一国家政策的落实,5G网络及相应的配套基建完成,必然会激活更多新场景、新模式、新玩法的落地。

在目前最为火爆的短视频领域,个人用户在录制小视频时,可以广泛的使用相芯科技提供的“全身驱动”的虚拟形象,在5G网络的加速下,迎来短视频创作内容的大爆发。

以抖音为代表的的短视频平台中,对虚拟形象的应用不仅丰富了内容创作者的素材库,观看者也更喜欢夸张、特点鲜明的虚拟形象。可以预见,从面部虚拟到全身虚拟,让虚拟形象的动作可以即兴发挥,而不受限于提前预置的模版式的动画。这对于具有舞蹈特长、善于演绎生活小品等需要展示全身形象或较大场景的内容创作者,可以获得更大的创意发挥空间。

“全身驱动”所带来的真实、协调的肢体语言,可以让主播在直播时更准确、直观的表达自己的思想。相应的,在直播领域通过使用可“全身驱动”的虚拟形象,也会让普通人成为大流量主播的几率大大增加。

此次相芯科技发布的SDK已经是经过验证的成熟解决方案,可以快速、简单地对接几乎所有短视频、直播平台等应用,想做主播就做主播,在未来会更加简单。

带来更多想象空间 也许未来的场景可以这样玩

“虚拟人”还能应用到更多领域!

比如像MMORPG类型的 游戏 ,最早是由玩家通过形象模板定制游戏角色,后来出现以玩家真实面容虚拟后作为游戏角色面部的游戏,那么现在通过相芯科技的“全身驱动”,则可以虚拟玩家的全身形象直接作为游戏角色形象,让游戏中每一位玩家的角色个性更独特,互动更真实。

VR游戏是现阶段最新的游戏形式,但在 VR 游戏中依然需要通过VR手柄等设备去控制游戏角色,这显然是达不到“虚拟现实”需求的。但如果使用“全身驱动”让用户直接用自己的身体控制角色,这样的“虚拟现实”体验,显然会更高级。

当然,除了游戏外,在虚拟社交、在线健身、在线教育等众多 互联网 +领域,全身虚拟形象驱动,都有极为广阔的应用空间。

总之,随着全面的虚拟形象解决方案真正落地,在虚拟的网络世界中获得更多的应用,最大程度的模糊虚拟世界与现实世界间的边际,必然会为这个世界带来更多的想象力。