「变身漫画」，你玩了吗？

抖音新上线的漫画滤镜热度超千万，戚薇、邓紫棋……不仅明星们玩儿的不亦乐乎，PDD 也小清新了一把。

它的原理并不简单，总的来说需要三步：风格化，实时转换，还有，动作识别。

将人脸变为漫画脸，最好的帮手就是我们上周讲到的 CycleGAN。

能找到同一事物不同表达之间联系的 CycleGAN，同样能找到现实世界与漫画之间的关联。

不过仅仅依靠 CycleGAN 是不够的。

性别转换是在人脸的基础上做出变化，漫画化寻找的是风格上的对应关系，不那么在乎人脸，很容易让画面变得「诡异」。

这时就需要增加能保留人脸特征的「特征点」（Landmark），转化出的人脸才会更稳定。

第二步，实时转换。

视频的风格化是将每一帧画面风格化后，再将它们按照时序组合起来。拍摄视频需要实时对摄像头接收到的图像进行处理，不仅模型本身的计算量要小，还要适配不同配置的手机。

抖音使用了模型下发策略，即针对不同的手机分配适合的模型，更好的利用硬件算力，达到实时漫画的要求。

接下来，行为识别。变换画面需要手指拖动一个不存在的拉杆，这需要认出视频中人的动作。不过抖音的拉杆只用检测到动态内容接近屏幕边缘，并跟踪该内容转换画面即可。

GAN 的家族非常大，能让人脸风格化的应用还有很多。

比如 MangaGAN，不仅能将人脸漫画化，参照的还是《死神》作者久保带人的风格。

以及能让人脸像素化的 Pix2pix，可以直接去这个网址试一试。