老子云出席CDS首云泛渲染发布会,发布3D数字人全自动化解决方案
近日,由首都在线举办的“澎湃算力 渲出视界”泛渲染业务新品发布会在苏州圆满举行。作为3D可视化领域的知名品牌,老子云CTO夏宇翔受邀出席,并做了《3D数字人全自动化解决方案和实践》的主题分享。
以下内容根据夏宇翔分享内容整理。
老子云作为眸瑞 科技 的技术平台,致力于全球的3D可视化技术,专注于让一切3D模型在全网多端轻量化处理与展示,为行业数字化转型升级与数字孪生应用提供成套的3D可视化应用方案。眸瑞科技在提供SaaS服务能力的同时,也提供PaaS的能力,它具有私有化部署或直接云上调用的方式,能够全自动的处理模型。迄今为止,注册用户达到100,000,并深耕于100多个细分行业,是目前市场上应用广泛普及的3D可视化综合服务平台。
现今 互联网 行业里最热的话题,元宇宙,元宇宙大家通常提到很多,3D数字人作为元宇宙非常核心的部分之一,具有以下几个特点:
1. 拥有人的外观,特定的容貌、性别、性格等特征;
2. 拥有人的行为、语言、表情和肢体表达能力;
3. 拥有人的思想、具有识别外界环境,并且能与自然人进行交流的能力
实现以上的展望,通常也需要五大模块支持,一个是人物形象,现在时下以搜狗为主有基于2D、3D的方式;二是语音生成;三是动画生成,四是交互(AI驱动、真人驱动),通过面部和捕捉系统做交互驱动;五是音视频合成的方向。老子云结合自己的技术能力,梳理出要完成数字人项目的三大类:
第一阶段:人体采集,围绕自动化,通过矩阵化采集方案,快速扫描实体任务模型,输出高精准度模型,通过拓扑到低模,基于这些资源进行二次编辑。
第二阶段:基于头发的二次编辑以及对模型进行深化,通过AMRI展示框架,集成材质体系、灯光体系后进行渲染、解析程序的动作解析,包括TTS语义的信息,从而实现资源到展示的开发。
第三阶段:虚拟演播厅,主要是在几个方向:一是定义数字人展示框架标准;二是支持信创适配;三是输出SDK,提供多行业接口调用;四是支持场景二次编辑,因为我们定义的是虚拟演播厅;同时在底层渲染器同步多种材质体系,包括Unity、UEE等这些,可以基于跨平台以后编辑完一个模型,可以选择基本的Stand(音)材质都是可以解析的;也支持多种面捕系统动作脚本解析。
传统的数字人系统是DCC建模、结构光扫描仪、和激光扫描仪、无法实现自动化,无法摆脱人工,需要大量的二次修复,老子云推出的框架拥有较大的优势,是一个全自动化建模,自动化修复的系统,它拥有复合式照片采集系统,在搭载录像机、摄像机和摄像头的同时在板载系统搭载,实现控制功能。
同时,老子云数字人平台拥有智能化捏脸拟合编辑系统,通过定义了360个全身动作骨骼点的动作绑定,通过API的方式,已经TDS语义训练出动作脚本,就可以使整个模型做任何一个动作。
老子云在首都在线云平台SaaS服务搭载的硬件框架上部署的这一套合成方案,集合华为数字人的3D拟合器以及长城信息的虚拟演播厅,用户可以通过自由选择拍摄框架的硬件搭载方案进行拍摄后,直接上传云进行自动合成。
目前,老子云的3D数字人技术解决方案已经成功应用于 金融 、泛娱乐等领域。未来,老子云也将与首都在线共同联合打造更多的部署环境及方案,为教育、文旅、零售等的发展提供更有力的技术支持。