AI技术让手办「整活」：3D建模居然可以这样简单

科技 领域，既有用元宇宙开发布会的公司，也有All in元宇宙的公司，很多虚拟世界已经建立起来，人们面临的问题正在变成：真实世界中，人类创造了亿万种物品丰富着我们的生活，那么如何才能快速复制这些物品到全新的元宇宙世界中呢？

3D内容对于元宇宙至关重要，很多科技公司正在推出用于构建虚拟世界的工具，随着计算机图形技术、元宇宙和AI之间的交集越来越多，这些技术也在不断升级。

最近，华为HMS Core 3D建模服务发布了人形角色自动建模和骨骼绑定的功能，引起了我们的注意。

看到一个可爱的手办，在想能不能拥有它的3D虚拟形象？只用 手机 围绕手办拍摄一圈，就能构建一个造型精准的3D模型并为其自动绑定骨骼。

在导入动作数据后，它不仅可以随你走动、向你招手，还可以完成跳舞等复杂动作。

在开放的Demo App中，我们只需要用普通手机摄像头围绕目标物体进行一通360度拍摄，清晰的3D模型即可生成。除了Q版的动漫手办以外，毛绒玩具或者机器人等人形角色也可以被扫描成模型并赋予骨骼。

那么它的能力到底如何呢？我们也实际操作了一把，我们用华为的技术给机器之心的毛绒玩偶构建了3D模型并绑定好骨骼。

只需使用视频中的同款动作数据驱动模型，就可以跳同款舞蹈啦：

如果四肢短小的玩偶都可以搞定的话，看起来绝大多数人形角色都是没问题的！

通过AI能力用2D照片生成3D模型，是人工智能学术会议中的一个热门领域，刚刚过去的国际顶会CVPR上就有数十篇这个方向的论文。通过对物体的不同角度进行拍摄，将2D图像转换为三角网格模型，生成的3D模型可供建筑师、设计师、艺术家和 游戏 开发者导入图形引擎，并可以在此基础上修改比例、更改材料或尝试不同的照明效果。而如今，前沿技术的一部分已经成为了手机上的应用，不禁让人感叹科技发展的速度。

3D建模，手机也行

快速构建3D模型的能力来自华为终端云服务开放能力合集HMS Core，其拥有3D建模、3D引擎、AR Engine等多个图形领域的开放服务。其中，3D建模服务可以给我们带来很多想象空间，可以用在商品展示、教学、虚拟人物，甚至动画制作上。

华为HMS Core 3D建模服务，不需要用TOF、深度摄像头或LiDAR激光雷达等特殊硬件，只需要一个普通手机的RGB摄像头即可完成建模。

这个过程在使用者看来是「一键生成」的，背后经历的却是一系列复杂的处理过程。

高精度的几何重建需要先进行物体分割，将目标物与背景分离，并进行图像匹配、特征提取和深度估计，AI算法通过分析不同角度的图像来判断位置关系，生成点云构建3D模型，再计算出纹理材质对模型表面进行贴图。

在这个过程中，华为利用自研的高低模技术，通过计算剔除冗余的面片，可以用更低的面片数（5万以下）达成高面片数（10万及以上）模型的效果，在中低端手机上也能实现精细的视觉效果。

自动生成3D虚拟形象的「筋骨」

为了让模型动起来，我们还需要对模型进行「骨骼绑定」：

传统流程中，骨骼绑定也需要动画师手工来完成，HMS Core的能力大幅提升了动画制作的效率：通过自动的骨骼绑定和蒙皮权重估计，HMS Core可以让你刚刚扫描出来的3D模型在导入动作数据后活动起来。

值得一提的是，在这个领域，此前少数实现自动关节估计的方法都需要目标模型摆好标准姿态。华为利用AI算法减少了人为规则的需求，可以支持非对称的多种姿态。

面对模型的各种姿态，AI算法需要大量数据进行训练，但在3D模型重建任务上，业内其实并没有这样的数据集。

对此，华为自研了一套3D人形角色自动生成框架，可以基于千百个模型数据，生成数十万甚至是上百万的角色模型和骨骼。通过数据增强，HMS Core支持了非对称姿态、不同体型和类别的人形角色的自动骨骼绑定。

投射到现实世界

最后，若想将构建好的3D模型呈现在真实的世界中，实现真人与3D虚拟物体交互的效果，还需要准确高效的AR能力。

华为HMS Core的AR Engine通过整合算法实现了厘米级的精准定位，开发者可以通过这些能力让虚拟世界与现实世界自然地融合在一起。

例如，AR Engine提供了光照估计和环境Mesh能力，使得3D虚拟形象的影子会随着灯光变化，并可被现实世界中的物体挡住，带来更自然的视觉交互体验。

图形领域能力全面开放，加速元宇宙时代到来

随着业界虚实融合步伐加快，华为HMS Core全面开放图形领域的相关能力，助力开发者高效构建虚实融合的数字世界。

图片来自2022年7月HUAWEI Developer Day（简称HDD）杭州站

开发者可以通过直接调用软件接口获得华为图形领域的核心能力，节省大量时间和精力，高效完成应用开发。

相信有了这种能力的加持，或许下一个爆款的App已在路上，元宇宙时代也将加速到来。

（文章来源于公众号：机器之心）