跟特朗普、爱因斯坦 Zoom 连线什么感觉？实时换脸一张照片搞定！

来源： 智东西

编 | 云鹏

俄罗斯的两位研究员推出了一款名为 Avatarify 的软件，可以与 Zoom 或 Skype 等视频会议软件配合使用，将视频会议中用户的面容变成任意指定名人的样子。这也意味着 " 实时 Deepfake" 这种 AI 功能开始走入普通用户的生活中。

通常 Deepfake 的训练和推理速度相对较慢，大多用在视频制作中，而不能满足实时视频通话的需求。Avatarify 的出现显著缩短了 Deepfake 的延迟，并提升了速度，而且只需要一张指定图片就可以完成替换。

据了解，Avatarify 所使用的 AI，采用的是目前已经开源的 AI 算法，基于 First Order Motion 核心模型，该 AI 已经在包含超过一万两千个人脸的视频数据集中进行了训练。不过目前 Avatarify 的实时 Deepfake 功能还处于初级阶段，而其存在的安全隐患也有待进一步讨论。

一、想变谁就变谁，只需一张图片

疫情之下，在线视频会议已经成为常态，而居家办公往往会遇到尴尬的背景，因此 " 自定义会议背景 " 的功能已经比较常见。现在，这一功能的 AI 能力再次升级，通过对实时画面的重构，AI 可以将你的脸变成各种名人的样貌。

也就是说，人人可用的实时 Deepfake 来了。

俄罗斯 Skolkovo 科技 学院的 Karim Iskakov 和程序员 Ali Aliev 共同开发了一个程序，可以让你在视频通话期间实时改变你的面容。据了解，Karim Iskakov 也是三星 AI 研发中心的研究人员，不过他这次特意强调到，Avatarify 这个项目跟三星没有任何关系。

这两位程序员在去年一年中，分别在 Github 上贡献了一百多项开源代码。

▲左：Ali Aliev，右：Karim Iskakov

这次的焦点就是一款名为 Avatarify 的软件，它可以搭配 Zoom 或 Skype 这类主流视频会议应用程序使用，而它所需要的素材只有一张名人头像图片。

该软件可以瞬间将一个人的面部表情及其面部特征投射到一副图片上，例如名人或艺术品的照片，比如《蒙娜丽莎的微笑》。

不过目前这一功能还处于初级阶段，如果用户在视频中大幅度地移动头部，特别是在背景非常复杂的场景下，这种实时 Deepfake 就会明显失真。

目前该软件在 Github 上的收藏数量已经达到 4.4 万，登上了 Github 的热榜，相关议题讨论数量为 69 个，集中于软件所需运行环境和一些小 BUG 的讨论。

二、将动画视频 AI 算法搬到生活中

据了解，该软件使用的是目前已有的开源 AI 算法，现在这些算法通常被用于动画视频的制作。除此之外，该 AI 已经在包含 12331 个人脸的短视频数据集中进行了训练，这些视频来自 YouTube 上的各类新闻采访。

Avatarify 所使用的算法基于名为 First Order Motion 的核心模型，这个模型可以对视频中的对象进行动画处理，并生成视频序列。最重要的是，这个模型所需要的视频不需要做任何注释，也不需要提前输入特定对象的先验信息。

▲ First Order Motion 模型运作流程

该模型分为运动估计模块和图像生成模块两个主要组成部分。

根据论文所述，在运动估计模块中，该模型通过自监督学习将目标物体的外观和运动信息进行分离，并进行特征表示。

而在图像生成模块中，模型会对目标运动期间出现的遮挡进行建模，然后从给定的名人图片中提取外观信息，结合先前获得的特征表示，进行视频合成。

这个模型可以轻易地让权利 游戏 中的人物模仿特朗普进行讲话，还可以让静态的马跑起来，另外还可以完成模特的 " 一键换装 "，这对于美工来说或许是一个福音。

不过能够良好的实现这一效果，也需要一定硬件的支持，如果想实现 33 帧 / 秒的视频效果，需要一张 1080ti 显卡，什么概念呢，就是英伟达10 系显卡中的卡皇。

如果使用 Macbook，帧数可能会低至 1 帧 / 秒左右。

三、Deepfake 安全问题变得更加棘手

从 2017 年 Deepfake 出现以来，其安全隐患就一直受到各国政府和安全机构的重视。比如用明星面孔伪造色情片、利用换脸视频影响政治大选，都是比较典型且严重的安全事件。

目前，针对 Deepfake，谷歌、微软、Facebook等众多科技巨头都在开发各种检测技术。但目前比较进阶的 Deepfake 仍然可以骗过大多数 AI 检测模型。

如今，Avatarify 的出现无疑又给 Deepfake 的鉴别带来了更大的困难，实时的图像伪造已经成为可能！

不过，技术永远是把双刃剑，相关法规制度的出台、合理的监管以及消费者素质的提升才是根本。就像谷歌的科学家 Nick Dufour 和相关技术研究经理 Andrew Gully 在文章中写道的：" 虽然一些人认为这只是个娱乐工具，但还是有很多人认为它可能危害社会。"

现在 Zoom 或 Skype 并未因安全隐患对此功能进行封锁，Avatarify 仍可以正常配合这两款软件进行使用。