快手AR变脸爆红的坚实后盾：自研3D引擎与AI技术平台

近日，相信不少人的 社交 媒体 都被快手的“AR尬脸舞”刷了屏。这个名为“AR变脸”的特效，能够将用户的脸部照片绑定在三维模型上，并通过AR技术，让这些“囧”态各异的3D模型在实拍场景中大跳网红舞蹈。搞笑的动作配合着耳熟能详的背景音乐，喜感与萌感齐飞，让广大用户欲罢不能，大开脑洞肆意“玩坏”自己和亲友。

业界 首家实现AR 变脸

据了解，这也是国内首家实现直接在AR模型上进行相册变脸贴合的案例。这样一个轻松搞笑的产品背后，支撑其运转的技术研发却不容小觑，结合了3D引擎、AR算法、深度学习推理引擎等诸多业界最尖端前沿课题。而不同于短视频行业绝大多数企业采用第三方技术供应商，快手的这些技术研发，完全是公司内部团队自身攻克的。

自研3D引擎性能强悍

首先，要实现“AR变脸”产品，需要一个功能强大的3D引擎，在其基础上添加编辑器模块、渲染模块、肢体模块、声音模块等，来实现模型精致而自然的光感、材质，并让用户可以自如地拖拽移动模型。据了解，快手拥有自研3D引擎，是亚洲业内最早研发该技术的企业，通过技术团队的近两年的打磨，如今3D引擎支持多样灵活的玩法，并且能够实现产品快速上线、迭代，今年春节火爆一时的AR版“胡巴”，同样也诞生在快手自研的3D引擎。而目前在国际上实现了这一技术的 科技 企业屈指可数，仅Snapchat、 苹果 、Google等支持相关功能。

原创YCNN深度推理学习引擎打造核心能力

除了3D引擎，要让模型真正在现实世界“扎根落地”，要让AR算法实现不断优化，在 手机 端实现运行，均需深度推理学习引擎的支撑。同时，“变脸”功能也需要对用户的照片进行脸部识别，以精准分割出脸部图像贴到模型上，也需要依赖深度推理学习引擎。相比于很多企业使用开源平台，快手自研了YCNN深度推理学习引擎，针对不同手机的硬件架构做了高度的适配和性能的优化，能够使用CPU、GPU、NPU、DSP等多种运行模式，根据评测，快手YCNN运行速度比已知的引擎高出50%，达到了亚洲乃至全球业界的顶尖水平，才能保证了用户在拍摄视频的时候能够实时的使用各种魔法表情、AR等新奇的特效，并且不断开发出更多有趣复杂的玩法。

多媒体处理框架 大幅提升技术普适性

快手拥有数亿注册用户，日活超过1亿，想让全部用户都能够流畅地体验到“AR换脸”的乐趣也并非易事。中国网民的终端设备差异极大，其中近30%的用户仍在使用双核或单核处理器的低端机型，为手机视频处理适配带来非常大的技术挑战，更不用说实时AR效果。为了解决这一问题，快手自研了一个高性能多媒体处理的框架，包括视频处理、音频处理、音视频编解码、2D、3D动画的能力，能够根据机型动态的选择分别率、码率、帧率尽量发挥设备最大的能力，不论是iPhone用户还是安卓用户，都可以拍摄出清晰流畅的视频，体验最佳的特效效果，大幅提升了技术应用的普适性。

一直以来，人们对快手的认知更多停留在“最大的短视频”平台，其实快手更是一家科技尤其是AI技术领先的企业，快手创始人兼CEO宿华曾表示，“技术驱动”是快手最重要的标签。领先的技术支撑的背后是强大的人才队伍，目前快手员工中工程师团队占5成以上，并拥有实力不俗的研发的团队，成员多来自斯坦福、卡内基梅隆、清华、北大等全球知名学府，及Facebook、谷歌、苹果、微软等国际科技巨头。秉承着“用科技提升每一个人独特的幸福感”的使命，快手正在不断拓展技术边界，为全球用户带来更优质的记录体验。