【论文笔记】人脸关键点检测_简略版_2016

20161009
1、Bulat A, Tzimiropoulos G. Two-stage Convolutional Part Heatmap Regression for the 1st 3D Face Alignment in the Wild (3DFAW) Challenge[J]. arXiv preprint arXiv:1609.09545, 2016.

这篇文章描述的算法在第一届3DFAW竞赛上取得了第一名的成绩。3DFAW是一个3D人脸关键点检测的竞赛，提供了比赛用的训练数据库（包括人脸图片和3D人脸关键点标注信息）。

这个方法基于convolutional part heatmap regression的工作来进行的，主要分为两步：第1步，通过 convolutional part heatmap regression生成每个关键点区域 的 2D heatmap，估计每个关键点的2D坐标X、Y；第2步，将这些heatmap和RGB原图输入至残差网络中回归Z坐标。该方法比第二名得到的误差率降低了22%。

20160411
1、Baltrusaitis T, Robinson P, Morency L P. Constrained local neural fields for robust facial landmark detection in the wild[C]//Proceedings of the IEEE International Conference on Computer Vision Workshops. 2013: 354-361.

在20160331中[2]的论文中使用Tweaked CNN的5点模型初始化CLNF的68点模型，我就大致看下这篇论文。

这篇paper是基于 Constrained Local Model (CLM)方法的改进：首先提出了 local neural filed patch expert (LNF)， 与传统的patch experts不同的是，LNF能够通过学习相似性和长距离的稀疏约束，捕捉到领域和较远距离像素间的关系；其次又提出了Non-uniform RLMS，与 CLM中使用的 RLMS相比，它未将每个patch进行同等权值处理，而是加入了一个经过训练集学习的对角权值矩阵。实验证明了CLNF 方法取得了当时的state-of-the-art的结果，特别是在光照较差的情况下。

PS: 速度稍慢， Multi-PIE图片 0.1s；与SDM相比，似乎不需要严格的mean shape来进行初始化，就可以使用其它的方法得到的shape输入CLNF，从而将精度更进一步的提高。

20160331
1、Zhang Z, Luo P, Loy C C, et al. Learning deep representation for face alignment with auxiliary attributes[J]. 2015.

在论文“Facial landmark detection by deep multi-task learning”上的改进（见http://blog.csdn.net/shaoxiaohu1/article/details/50525240 20160115 部分）。 不同的是，通过引入动态任务系数（Dynamic Task Coefficients），提高多任务学习时的收敛度。与之前的方法相比，关键点检测精度有所提高，特别是对于有遮挡的人脸和大角度的人脸；减少了模型的复杂度。

2、Wu Y, Hassner T. Facial Landmark Detection with Tweaked Convolutional Neural Networks[J]. arXiv preprint arXiv:1511.04031, 2015.

作者分析了用于关键点检测的CNN模型，将各层的输出特征分别进行聚类，发现特定角度、表情的人脸的特征更容易聚为一类。基于这一发现，作者将最后一层全连接层的特征聚类后，分别再进行针对的优化训练，也就是提到的Tweaked CNN。这种模型在AFLW、AFW、300W等数据集上都取得了state-of-the-art的结果。