人脸融合相关调研

以前的记录，整理发现了值得分享一下。

云解决方案

• 腾讯： https://ai.qq.com/product/facemerge.shtml
• Face++: https://www.faceplusplus.com.cn/face-merging/
• Baidu：https://ai.baidu.com/tech/face/merge

自研

• 纯Opencv实现，基于人脸检测及人脸关键点检测

  • https://github.com/yejunzhou/yry 换脸，基于dlib人脸关键点检测进行特征融合
  • http://matthewearl.github.io/2015/07/28/switching-eds-with-python/
  • https://www.learnopencv.com/face-morph-using-opencv-cpp-python/
  • https://github.com/tonyiweb/face_merge_master 基于dlib人脸关键点检测进行特征融合，tornado web service

• ML/DL实现

  • Deepfake: Unsupervised Image to image translation networks
  • 基于GAN和VAE实现，其中GAN将两个域中的图像映射到同一个潜在空间，VAE对图像进行迁移
  • CNN/AE
  • Fast Face-swap Using Convolutional Neural Network

• 软件

  • Swapface：视频
  • ZAO:单张照片怎么做

试用

• baidu api

• tencent api
  

资源

• https://cloud.tencent.com/developer/article/1401153

• https://www.cnblogs.com/wm123/p/5370064.html

• @声音克隆 zao应该是没有用到网传的开源东西.前几天看到一篇知户上的文章,一个多年CV的人测试了zao,根据他的说法,zao不紧紧是检测脸部的关键点还识别出了局部5关特征,他用蓝和红的小方框分别遮挡了了左右眼睛,换脸后的效果大叠眼镜,相同的嘴巴也可以遮挡下,换回来的就露馅了.应该不是用的早先网传的那些东西实现的.根据他的说法 ZAO应该是提前制作了大量的五关模型,快速替换脸部信息.说明zao不只分析了整个脸部肯定也分析了五官特征。这样一个可能的答案就出现了，zao应该是预设了某种模版，可以和对象的五官匹配，生成的视频用的可能不是对象的样貌，而是来自于预设数据库中和对象最吻合的模版。（也许同时也叠加了对象本身五官）一张包含人脸的图像中有几种核心元素，即通用概念范畴上的姿态，角度，表情以及个性化生物属性即所谓的个体长相（五官）包含在编码器和解码器的中间层，这些属性数据解耦，dst保留姿态角度表情属性，叠加src的个人属性进行训练，输出后即是保留dst演技水平的又具备src五官特征的完整视频。

• 论文《Towards Open-Set Identity Preserving Face Synthesis》中网络I和E实际是要提取图像的两组正交的解耦的特征，感觉I和E是可以放到一个网络中完成的，而且这样同时提取两个输入A和B的两组特征，可以进行交叉验证，即A变为B，B变为A，整个网络的结构对称性就加强了