用实时换脸AI，跟特朗普、爱因斯坦Zoom连线

本文来自微信公众号：智东西（ID：zhidxcom），作者：云鹏

据外媒报道，俄罗斯的两位研究员推出了一款名为Avatarify的软件，可以与Zoom或Skype等视频会议软件配合使用，将视频会议中用户的面容变成任意指定名人的样子。这也意味着“实时Deepfake”这种AI功能开始走入普通用户的生活中。

通常Deepfake的训练和推理速度相对较慢，大多用在视频制作中，而不能满足实时视频通话的需求。Avatarify的出现显著缩短了Deepfake的延迟，并提升了速度，而且只需要一张指定图片就可以完成替换。

据了解，Avatarify所使用的AI，采用的是目前已经开源的AI算法，基于First Order Motion核心模型，该AI已经在包含超过一万两千个人脸的视频数据集中进行了训练。不过目前Avatarify的实时Deepfake功能还处于初级阶段，而其存在的安全隐患也有待进一步讨论。

想变谁就变谁，只需一张图片

疫情之下，在线视频会议已经成为常态，而居家办公往往会遇到尴尬的背景，因此“自定义会议背景”的功能已经比较常见。现在，这一功能的AI能力再次升级，通过对实时画面的重构，AI可以将你的脸变成各种名人的样貌。

也就是说，人人可用的实时Deepfake来了。

俄罗斯Skolkovo科技学院的Karim Iskakov和程序员Ali Aliev共同开发了一个程序，可以让你在视频通话期间实时改变你的面容。据了解，Karim Iskakov也是三星AI研发中心的研究人员，不过他这次特意强调到，Avatarify这个项目跟三星没有任何关系。

这两位程序员在去年一年中，分别在Github上贡献了一百多项开源代码。

左：Ali Aliev，右：Karim Iskakov

这次的焦点就是一款名为Avatarify的软件，它可以搭配Zoom或Skype这类主流视频会议应用程序使用，而它所需要的素材只有一张名人头像图片。

该软件可以瞬间将一个人的面部表情及其面部特征投射到一副图片上，例如名人或艺术品的照片，比如《蒙娜丽莎的微笑》。

不过目前这一功能还处于初级阶段，如果用户在视频中大幅度地移动头部，特别是在背景非常复杂的场景下，这种实时Deepfake就会明显失真。

目前该软件在Github上的收藏数量已经达到4.4万，登上了Github的热榜，相关议题讨论数量为69个，集中于软件所需运行环境和一些小BUG的讨论。

将动画视频AI算法搬到生活中

据了解，该软件使用的是目前已有的开源AI算法，现在这些算法通常被用于动画视频的制作。除此之外，该AI已经在包含12331个人脸的短视频数据集中进行了训练，这些视频来自YouTube上的各类新闻采访。

Avatarify所使用的算法基于名为First Order Motion的核心模型，这个模型可以对视频中的对象进行动画处理，并生成视频序列。最重要的是，这个模型所需要的视频不需要做任何注释，也不需要提前输入特定对象的先验信息。

First Order Motion模型运作流程

该模型分为运动估计模块和图像生成模块两个主要组成部分。

根据论文所述，在运动估计模块中，该模型通过自监督学习将目标物体的外观和运动信息进行分离，并进行特征表示。

而在图像生成模块中，模型会对目标运动期间出现的遮挡进行建模，然后从给定的名人图片中提取外观信息，结合先前获得的特征表示，进行视频合成。

这个模型可以轻易地让权游中的人物模仿特朗普进行讲话，还可以让静态的马跑起来，另外还可以完成模特的“一键换装”，这对于美工来说或许是一个福音。

不过能够良好的实现这一效果，也需要一定硬件的支持，如果想实现33帧/秒的视频效果，需要一张1080ti显卡，什么概念呢，就是英伟达10系显卡中的卡皇。

如果使用Macbook，帧数可能会低至1帧/秒左右。

Deepfake安全问题变得更加棘手

从2017年Deepfake出现以来，其安全隐患就一直受到各国政府和安全机构的重视。比如用明星面孔伪造色情片、利用换脸视频影响政治大选，都是比较典型且严重的安全事件。

目前，针对Deepfake，谷歌、微软、Facebook等众多科技巨头都在开发各种检测技术。但目前比较进阶的Deepfake仍然可以骗过大多数AI检测模型。

如今，Avatarify的出现无疑又给Deepfake的鉴别带来了更大的困难，实时的图像伪造已经成为可能！

不过，技术永远是把双刃剑，相关法规制度的出台、合理的监管以及消费者素质的提升才是根本。就像谷歌的科学家Nick Dufour和相关技术研究经理Andrew Gully在文章中写道的：“虽然一些人认为这只是个娱乐工具，但还是有很多人认为它可能危害社会。”

现在Zoom或Skype并未因安全隐患对此功能进行封锁，Avatarify仍可以正常配合这两款软件进行使用。

相关链接：

Github开源代码：

本文来自微信公众号：智东西（ID：zhidxcom），作者：云鹏