读图像精细分割论文 Automatic Portrait Segmentation for Image Stylization ，by Xiaoyong Shen

下图为论文实现结果

摘要
虽然有许多成功的用户使用引导方法来描述主题，但是缺乏完全自动化的技术，结果令人不满意。本文首先通过引入一种新的肖像图像自动分割算法来解决这一问题，然后在此基础上，利用我们的自动分割算法生成高质量的人像来描述了几个人像过滤器。

1. 引言

   随着智能手机的普及，由英国三星做的一个调查，智能手机里的照片大约30%是自己的自拍照。这些照片都是非专业人士拍的，或没有好的后期处理。自动将人像从背景中抠出来是一件不容易的事，例如graph cuts 就将颜色相近的前景和背景混淆，得到较差的结果。在本文中，我们提出了一种全自动的人像分割技术，该技术获取人像图像并生成等分辨率的得分图。
   （1）通过引入新的人像位置和形状输入通道对特定的区域来扩展FCN-8s的框架.
   （2）为我们的模型训练和测试做了数据集和基准。
   （3）我们用我们的方法增加了几个交互式人像编辑方法，使它们完全自动化。

2. 相关工作

   （1）Interactive Image Selection
   （2）CNNs for Image segmentation
   （3）Image Matting

3. 我们的思路和方法
   将FCN的全连接层拿卷积层代替，FCN使用的损失函数为
   
   使用FCN在voc数据集上分割效果不好的原因：
   （a）Pascal VOC中人的低分辨率限制了对我们的高分辨率人像图像数据集进行推理的有效性。
   （b）原始模型输出多个标签来表示不同的对象类，这在我们只需要两个标签的任务中引入了歧义。
   为解决以上两个问题，提出portraitFCN（PFCN）
   我们标记一个新的纵向分割数据集，该数据集用于微调模型，并将标签输出仅更改为背景和前景。我们展示了这种方法的结果，并在文中将其称为PortraitFCN。
   优点：可以提升准确度
   缺点：衣服和背景容易混。原因：cnn天生的平移不变性，随后的卷积和池层增量地用空间信息交换语义信息。

因此提出portraitFCN+(PFCN+),它将从人像中提取的空间信息注入到FCN中。
我们的方法将特定于肖像的知识整合到CNNs学习的模型中,然后利用强大的人脸检测模块来生成辅助位置和形状通道，这些通道和肖像的颜色信息一起送到卷积网络的第一层。
（1）位置通道 这些通道的目的是编码相对于人脸的像素位置，输入的图像像素位置只提供了有限的关于肖像的信息，因为在每张图片中被摄对象的框架是不同的。这促使我们向网络提供两个额外的通道，规范化的x和y通道，其中x和y是像素坐标。我们首先通过检测面部特征点来定义它们并且估计一个单应变换T之间的拟合特征和规范的姿态，如图3（d）所示，我们定义归一化的x通道为T (ximg)，ximg是图像中人脸中心点为0的像素点的x坐标。我们用类似的方法定义了标准化的y通道，该过程表示以人脸为中心的坐标系中每个像素的位置，并根据人脸大小进行缩放。
（2）形状通道 除了位置通道，我们发现形状通道也能提高分割精度。通过包含一个通道，其中一个主题形状的区域与实际人像主题对齐，我们显式地为网络提供了一个特性，该特性应该是对最终解决方案的合理初始估计。为了生成这个通道，我们首先从训练数据集中计算一个对齐的平均遮罩。对于每一对训练的人像遮罩{Pi,Mi}，我们使用单应性Ti对Mi进行变换，该单应性Ti由Pi的面部特征点和一个典型的姿态估计得到。

其中wi为矩阵，表示Mi中的像素在变换Ti后是否在图像外。如果像素在图像内部，则值为1，否则设置为0。操作◦表示元素明智的倍增。这个平均遮罩M已经对齐到一个标准的姿势，然后可以类似地转换成与输入人像的面部特征点对齐
图3显示了我们的PortraitFCN+自动人像分割系统，包括额外的位置和形状输入通道。

1. 数据和模型训练
   没有找到合适的数据集，故本文自己做了一个数据集。
   （1）数据准备 利用前置摄像头自拍照的1800张进行标记，我们把将1800张带标签的图像放入1500个图像训练数据集和300个图像测试/验证数据集中。此外对数据进行了数据增强，得到超过19000张数据做训练图片。
   （2）模型训练 我们在Caffe中建立了模型训练和测试实验，使用softmax损失函数SGD求解。我们从一个FCN-8s模型开始，它预先训练在PASCAL VOC 2010 20类对象分割数据集。我们必须对整个网络进行微调，因为我们的预训练模型不包含对齐的均值掩码和第一个卷积层中的x和y通道的权重。我们用随机值初始化这些未知权重，并以10^-4的学习率进行微调。使用不同学习率的效果。

2. 结果和应用
   与其他方法相比，我们的方法在自动图像分割方面取得了显著的性能改进。我们提供了与其他方法的详细比较。由于具有较高的分割精度，也得到了大量的应用。
   
   如表1所示，将通道的形状和位置考虑在一起可以获得最好的性能。原因是位置通道有助于减少远离人脸区域的误差，而形状通道有助于在前景人像区域中获得正确的标签。由PortraitFCN+的位置和形状通道纠正的高度分散错误类型。事实上，在我们的测试集中运行PortraitFCN会产生60个分段，这些分段显示了这种类型的错误，而在使用PortraitFCN+时，这个数字下降到了6。
   我们估计的分割结果为图像消光提供了一个良好的三元图初始化。我们通过将分割边界半径为10像素的像素设置为“unknown”来生成trimap。KNN matting 使用(b)中所示的trimap进行，结果如图©所示。matting的效果非常好，部分原因是我们的分割提供了一个准确的初始分割边界。
   自动分割图像风格化

3. 总结
   本文提出了一种高性能的图像自动分割方法。该系统建立在深度卷积神经网络的基础上，能够利用图像的特定线索。我们构建了一个大型的人像图像数据集，它具有足够的人像分割和地面真实数据，能够有效地训练和测试我们的模型。在有效分割的基础上，给出了一些自动图像分割的应用实例。当背景和前景对比度很小时，我们的系统可能会失败。