2020-07-02 17:00
扫码打开虎嗅APP
「变身漫画」,你玩了吗?
抖音新上线的漫画滤镜热度超千万,戚薇、邓紫棋……不仅明星们玩儿的不亦乐乎,PDD 也小清新了一把。
它的原理并不简单,总的来说需要三步:风格化,实时转换,还有,动作识别。
将人脸变为漫画脸,最好的帮手就是我们上周讲到的 CycleGAN。
能找到同一事物不同表达之间联系的 CycleGAN,同样能找到现实世界与漫画之间的关联。
不过仅仅依靠 CycleGAN 是不够的。
性别转换是在人脸的基础上做出变化,漫画化寻找的是风格上的对应关系,不那么在乎人脸,很容易让画面变得「诡异」。
这时就需要增加能保留人脸特征的「特征点」(Landmark),转化出的人脸才会更稳定。
第二步,实时转换。
视频的风格化是将每一帧画面风格化后,再将它们按照时序组合起来。拍摄视频需要实时对摄像头接收到的图像进行处理,不仅模型本身的计算量要小,还要适配不同配置的手机。
抖音使用了模型下发策略,即针对不同的手机分配适合的模型,更好的利用硬件算力,达到实时漫画的要求。
接下来,行为识别。变换画面需要手指拖动一个不存在的拉杆,这需要认出视频中人的动作。不过抖音的拉杆只用检测到动态内容接近屏幕边缘,并跟踪该内容转换画面即可。
GAN 的家族非常大,能让人脸风格化的应用还有很多。
比如 MangaGAN,不仅能将人脸漫画化,参照的还是《死神》作者久保带人的风格。
以及能让人脸像素化的 Pix2pix,可以直接去这个网址试一试。