《Landmark Assisted CycleGAN for Cartoon Face Generation》人脸动漫化论文解析

如何用真实的人脸照片生成卡通风格的头像呢？今天我们再来看看另一篇文章。

这篇文章来自香港中文大学+哈工大+腾讯优图。效果如下：

当然我写的前两篇文章，也是在说头像动漫化，是另外两个算法，各有千秋。传送门：

https://blog.csdn.net/wenqiwenqi123/article/details/105483884

https://blog.csdn.net/wenqiwenqi123/article/details/105229786

说回这篇文章，这篇文章的宗旨其实很简单，从题目就可以看出来，就是在cycleGAN的基础上，加上了人脸的关键点信息（landmark），从而使算法对人脸的处理更加给力。

cycleGAN介绍传送门：https://blog.csdn.net/wenqiwenqi123/article/details/105123491

在这里就不做介绍了，直接说这篇文章的创新点吧。

网络结构如下图：

输入是将图片和标注好的landmark一起输入，同时预训练了一个landmark检测器（图中的Regressor）。作者在这里构建了一个自己的动漫数据集，带有landmark（人脸关键点）的标注，每张图标五个点。

损失函数由三部分组成：

1、关键点一致性损失（landmark consistency loss）

首先将生成器生成的图的landmark（由预训练的model预测），与原图的landmark做一个l2loss。

 

2、关键点匹配全局判别器（landmark matched global discriminator）

作者在此定义了一个条件判别器，换句话说也就是把图片和landmark一起放入了判别器。

往条件判别器中输入的包括：卡通人脸和对应landmark，生成的卡通人脸和真实人脸对应的landmark，croped的卡通人脸和与之不匹配的landmark。分别是real sample，fake sample，fake sample。最后一组输入的作用是：将具有相应的不匹配landmark heat map的卡通人脸添加为额外的假样本，以强制生成器生成更好的匹配卡通人脸，否则辨别器可能会认为landmark不匹配对也是真实样本。

3、关键点引导的局部判别器(landmark guided local discriminator)

这个我觉得没什么可说的，就是根据关键点，把鼻子、眼睛、嘴巴什么的抠出来，分别放入单独的判别器进行判别。

因此loss基本上就是以上三个。

值得一提的是，在训练的时候，作者分为两个阶段。在第一个阶段没有使用第三个损失，在生成器能生成粗略的脸后，再使用第三个损失。

当然了，这篇文章在我看来其实创新点是不太够的，而且很依赖标注好的数据。效果虽然不错，不过还是稍微少了一点东西。

效果图：