Unity着手推进神经网络渲染技术应用，颠覆呈现虚拟 3D 世界的方式

近年来,风头正劲的元宇宙产业吸引了众多人的关注。 互联网 及软件行业的各种技术发展迅速,这也构成了我们畅想未来元宇宙时代的基础。但是,如果从 科技 领域的生产流程而言,我们还处于工业革命之前的状态,生产效率低下,距离实现大批量、规模化生产还有很长的距离。数字资产的生产成本高昂、对技术人才的要求苛刻,已然成为了阻碍其发展的重要原因。

以近几年非常火爆的数字人为例,灵动表现的其背后是动画师们在一帧帧地精修渲染,不仅成本非常高昂,而且制作流程十分耗时费力。在生产流程中引入 AI 技术,将工具训练成开发者大脑的延伸势在必行。只有在数字资产制作的流程中引入 AI 技术,才能够大规模生产高质量的虚拟内容,从而引领元宇宙时代的生产力革命。

利用Unity Al交互技术所打造的生机勃勃的元宇宙世界

Unity Al交互技术高效赋能元宇宙数字资产生产

元宇宙有三个不可或缺的基础要素:人、场、物,这些数字资产共同构成了元宇宙世界,影响着人们在元宇宙世界中的体验,Unity作为全球领先的交互式实时3D内容创作和运营平台,在虚拟人、车机、数字孪生、AR/ VR 等领域都有布局,且底蕴深厚,而这些都是元宇宙相关技术领域,Unity已经在有意识地探索,如何通过AI来加速数字资产的生产流程,其中虚拟数字人是当下元宇宙最早落地的应用场景。

目前大多数公司在虚拟数字人打造过程中,采用的流程是让模特在光场设备中做出极限表情并拍摄下来,然后让艺术家用K帧的方式进行模型清理,这个步骤非常地耗时耗力,但却是避免 “恐怖谷”效应的必经之路。但是现在这个工作有了更好的解决方案,比如 Unity 收购的全球领先的数字角色创作公司 Ziva Dynamics,就十分擅长利用机器学习来帮助实时角色创作,精通复杂模拟与模型变形。

如今,Ziva 和 Unity 正在合作规划开发路线,着重普及可负担、可扩展的实时 3D 人脸技术,让数字角色的表演无需昂贵的 HMC(头戴摄像机)或体积捕捉设备即可完成。利用其合作打造的Ziva RT、Unity Deep Pose、 Kinematica等Unity AI人工智能技术工具,让原本要耗费数周,甚至数月的角色脸部创作,可以浓缩成云端的一次按钮点击,大大加快了创作流程,缩短了创作所需时间,有利于创作者更好发挥创意。

基于Unity Al交互技术开发的Kinematica

AI功能赋能虚拟场景生成,制作Unity数字资产快人一步

作为元宇宙之中的另一个大头,虚拟场景的制作也至关重要,而且其体量也远非虚拟人可比。动辄数千甚至数万平方公里的虚拟世界,如果靠纯人工的方式去摆放和设计每一寸土地,无疑是一场灾难。所以目前Unity数字资产中的场景创作也已经引入了 AI 功能,例如Unity World Generation是由AI技术驱动的美术辅助工具,开发者简单地“扫”几下,就可以有一座高山凭空而起,并且实时模拟出了真实的光影效果。

此外,Unity 还推出了 Smart Assets。在这种Unity数字资产的每一个元素都由 AI 驱动,用户通过可视化的方式控制每一个元素在场景中所占的比重,系统就会自动生成符合物理真实的场景。所有的计算都通过 AI 自动完成,不需要再去手动调整参数。

由Unity AI交互技术驱动的美术辅助工具World Generation”

Unity人工智能推出多款AI工具,让虚拟物品生成更加高效快捷

在有了人和场景之后,接下来还需要物体来填充元宇宙世界,以让其更加生动而真实。相比于过往逐一地建模复刻设计这种效率低下的制作方式,通过3D扫描技术和Unity人工智能进行虚拟物品生成,无疑可以大幅提高效率。

目前,Unity已经推出了一些AI驱动的功能,通过可视化的方式与 3D 扫描把现实世界中的对象进行三维重建。比如Unity ArtEngine,利用Unity Al交互改进了表面摄影制图工作流程,可以通过 AI 来根据照片自动生成模型资产中的材质数据,并快速去光照、去接缝,消除不需要的伪影,从而快速将照片转换为基于物理的渲染素材。UGG、Off-White 等领先的时尚品牌和电商平台都已经率先使用了 RestAR,应用场景包括 3D 预览、AR 试穿等等。

Unity人工智能赋能RestAR快速生成3D模型

Unity AI交互技术:拉近我们与元宇宙的距离

综上所述,利用先进的AI技术,在当下Unity数字资产打造的海量素材的填充下,元宇宙变得更加多样化和“生动”。但元宇宙并不仅仅是一个静态的画面而已,比如在召开虚拟会议的时候,可以实现变脸,通过 Unity 的 AR Foundation 可以在 Unity 中以多平台方式进行面部捕捉,因此“交互性”、“ 社交 属性”同样是元宇宙不可忽视的基本特征。针对这个问题,Unity 已经拥有了成熟的工具,比如 ML-Agent、Unity Influence Engine就可以赋能创作者对NPC进行更高效和低成本的交互设计与行为模拟。

Unity AI交互技术的下一个阵地——NeRF

除此以外,基于神经网络渲染的另一个关键技术NeRF,是Unity AI交互技术的下一步发展方向。据悉,NeRF 实现了神经场(NeUral Field)与图形学体渲染(VolUme Rendering)的有效结合,首次利用神经网络隐式场景表示实现了照片级(photo-realistic)的渲染效果。如果这项技术成熟,以后无论是画面的产生,还是数字资产的表达方式,都可以参数化到一个隐式空间,有可能完全改变虚拟世界的表达方式。

接下来,Unity 会将 NeRF 等 AI 相关技术集成、纳入到更多的创作流程中去,让工具真正成为创作者的大脑。

通过神经网络渲染呈现的光影变化

总而言之,当Unity实时引擎遇上AI虚实交互,Unity已经做好了拥抱下一代互联网数字内容世界的准备,相信未来Unity AI交互式可视化技术将会拥有更广阔的应用空间,真正让“所见”即“所得”。