Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis

超脸部旋转：为合成逼真且保留身份信息的正面视图的全局和局部感知的对抗生成网络

摘要：从单一人脸图片合成逼真的正面视角图片在人脸识别领域有广泛的应用。尽管数据驱动的深度学习方法被提出，通过从海量人脸数据搜索解决方案来处理这个问题，但是这个问题仍具挑战，因为这个方法本质上是不恰当的。本文提出了双通道对抗生成网络（TP-GAN）用以通过理解全局的结构和本地的细节来合唱逼真的正面视角的图片。除了常用的全局编码-解码网络，我们提出了在四个关键位置上的小区块网络用于关注本地纹理。除了新的架构，我们通过引入对抗损失，对称损失和身份保留损失的结合，来很好的限制这个病态问题。结合的损失函数利用正面的人脸分布和预训练的有辨识力的深度人脸模型来指导从侧面图中得到身份保留的正面视角的推测。不同于之前仅依靠间接特征进行人脸识别的深度学习方法，我们的方法直接利用合成的身份保留图片来完成如人脸识别以及属性估计等下游任务。实验结果表明，我们的方法不仅呈现了引人注目的感性结果，还在大姿态人脸识别中超过了最先进的结果。

全文地址：https://arxiv.org/abs/1704.04086