CCAI 2021 腾讯优图汪铖杰：用AI生成更优更新的内容

目前，人工智能技术已经在人脸识别、语音处理、视频处理、自然语言处理等领域得到了突飞猛进的进展。未来人工智能技术将在哪些行业和业务场景中最快得到应用，以及将会向着哪些方向重点发展，成为了行业共同关心的问题。

10月12日，以“智启非凡”为主题2021中国人工智能大会（CCAI 2021）在成都正式开幕。作为我国人工智能领域的顶级盛会，本次大会共设置了8场主题报告、1场院士尖峰对话、9大专题论坛、6个同期活动面，由23位中外院士领衔，近百位学术技术精英齐聚一堂，通过一系列主题报告和专题论坛深刻呈现人工智能学术前沿、技术动态、产业趋势，反映了产学研各界对产业数智化发展的前沿探索和前瞻思考，引领智能 科技 在进步中与多领域融合发展，激发传统行业变革活力。

本次CCAI2021中，腾讯优图实验室研究总监汪铖杰受邀出席了智能创意与视觉知识表达专题论坛并发表了以《视觉内容编辑生成技术研究与应用》为主题的演讲，向与会者分享了优图实验室在视觉内容编辑生成技术领域的研究成果与应用实例，提供了学术研究和技术创新的方向创新。

腾讯优图实验室研究总监汪铖杰

01 以GAN和3D技术为主研方向 用AI生成更新更好的内容

在智能 手机 的普及和人们时间碎片化的态势下，以在线音乐、短视频、直播、资讯等为代表的内容逐渐成为用户的主要消费对象。随着用户精神消费品质的不断升级和兴趣面的不断扩展，用户对于内容的生产效率和品质的要求也在不断提高。而AI技术的发展和完善，能够帮助内容生产者在提高内容生产效率的基础上，丰富内容生产的多种类并提供更加动态且可交互的内容，以满足日益增长的内容需求。

在此背景下，AI生成内容（AIGC）应运而生。优图实验室针对AIGC的主要研究目标就是如何用AI技术生成更新、更好的内容。优图实验室在AIGC方面拥有两大核心技术：

1.通过研究生成式对抗网络（GAN）和GAN内部涉及的FCN结构，通过深度图像压缩技术生成不同程度、不同分辨率的图像，以保障图像在高清影视制作场景下的清晰度；

2.通过在3D的重建、渲染、驱动等环节中引入深度学习和自监督图形学习模式，通过自监督学习来获取大量数据，使3D效果的通用性和泛化性得到较为明显的提升。

02 深度学习提升3D人像重建效果  技术应用场景越来越广阔

通过融入深度学习和自监督学习机制，不需要再用复杂设备现场采集大量数据，而是通过输入多张人像图片就能够相对轻松地完成对于人像面部的3D建模。

同时，在进行特征融合时，优图实验室的3D重建技术可以接受任意一张图片输入，通过多人脸约束让重建精度变得更高。

以这种方式生成的3D人像的ID丰富度会大幅度提升，因为在生成的过程中会将人像的几何信息和纹理信息一并重建，实现人面部皱纹级的细节还原，最终让人像能够覆盖各个年龄段和各种长相特征。

目前这项3D重建技术已经能够广泛应用在超写实类 游戏 角色的塑造和低成本3D数字人制作的领域之中。在实际应用场景中，3D重建技术可以通过多视角信息融合功能，仅凭几张照片就可以实现超写实型的角色塑造。

在为游戏《天涯明月刀》进行角色建模时，为了让最终人像符合原作画风，优图实验室在3D重建的人像上基于用户人脸的特征分布以及游戏里面特征分布的差异做细微调整，并基于定位以及细粒度属性的识别结果，对角色进行精细化修正，最终输出人们在游戏中看到的栩栩如生的角色建模。

03 深入研究提升GAN训练模式优化效果 让经典影视作品达到4K标准

近年来,随着文化产业政策的利好推动和居民消费水平的提高,我国影视行业发展较快，催生了海量影视作品图像画质优化的需求：除电影胶片修复外，很多存量经典MV和影视作品也需要去刮痕、去噪，并转换成符合现在用户观影需求的4K品质。

为满足影视行业中广泛存在的AIGC需求，优图实验室在2020年就推出了ReaISR技术。通过构建很多跟现实情况非常接近的低质和高质的图像，再借助pixel-wise loss、discriminative loss生成GAN训练模式，以保障修复后的效果。

但是在这种情况下，画面修复会出现矫枉过正的情况，出现很多高频的artifacts。为解决此类问题，优图实验室以ReaISR技术为基础，通过增加频率密度约束来抑制高频的artifacts，并根据图像状态设计画质评估模块，从而实现模块动态的调整域值的权重，在保证图像真实度的前提下大幅度提升图像优化效果。

在与上海电影学院和上海电影技术厂的合作中，优图实验室的ReaISR技术已经帮助其将胶片电影修复至2K甚至是4K的标准。此外，优图实验室还与一些国外影视制作公司合作，为其提供画质转换、去刮痕、去噪等服务。

除人工辅助外，腾讯云公有云图像超分API和腾讯云 媒体 AI中台画质优化功能模块中也集成了ReaISR技术，能够帮助用户用较低的成本实现数字内容的高清化。

04 优化技术框架让AI实现“批量换脸“  在文化传播领域得到广泛应用

如今AI换脸对大众来说已经并不是一项新鲜的技术了，但是现有的人脸合成框架只能支持两个ID间的更换，即只支持A至B间的换脸，如果想将A换成C或是D的脸，则需要重新构建框架。

通过将Src图像ID特征融合到合成框架中，优图实验室可以让框架支持任意ID换脸，提升了AIGC的生产效率。同时，框架还引入Weak Feature Matching Loss高层语义特征匹配、3D人脸信息、图像超分模块等功能，在保障模板人脸中表情、光照的属性特点都迁移到结果上的同时，大幅提升了最终生成人像的真实度和清晰度。

在文化运营、推广活动和影视内容制作的领域中，AI换脸技术的应用场景很多。如可以把用户的脸与游戏人物融合在一起提升用户和游戏的互动性，或是在拍摄需要让同一人物所饰演的不同角色同框出镜的镜头时，用AI换脸技术把两个角色都换成同一张脸来缩减拍摄成本等。

在实际应用场景中，去年深圳40周年推出的‘深’份证”活动中就用到了引用了Src图像ID特征的生成框架，超过千万用户参与并通过该框架生成了自己独有的“深”份证。

此外，在政府弘扬当地少数民族文化时，也可以使用这项技术，以各式各样的民族服饰作为背景，引导用户上传照片来生成自己民族服饰艺术照，提高当地少数民族文化的知名度，助力民族文化传承。

AIGC技术在其他领域中也得到了广泛应用。比如腾讯会议的中能够保护用户隐私的虚拟背景，虚拟光线等功能；通过3D重建技术实现手Q、微视和腾讯会议中的“人物图像全年龄演化”功能；目前优图实验室正在尝试将这些技术应用到虚拟美妆领域中，通过算法让用户能够在照片上模拟化妆效果。

作为腾讯旗下顶级的人工智能实验室，腾讯优图实验室目前已拥有超过1000件全球AI专利，更有300余篇论文被AAAI、ICCV等国际顶级AI会议收录。凭借在视觉AI技术上的研究成果，优图实验室通过腾讯云共输出超过20项AI解决方案，100+AI原子能力，助力各行各业实现数字化转型。

此外，腾讯优图还打造了如跨年龄AI寻人、青少年内容审核、AI探星等技术能力，践行腾讯“科技向善”的使命和愿景。未来，优图实验室将继续专注人工智能技术发展，通过推进AI基础设施研发的形式为产业数字化转型提供助力，促进数字 经济 加速发展。