论文阅读-Large Kernel Matters —— Improve Semantic Segmentation by Global Convolutional Network

研究问题的引入：

目前，在神经网络结构设计的一个趋势是堆积一些具有较小滤波核的滤波器。这是因为在同样计算复杂度的情况下，堆积较小滤波器的效果要更高一些，举例来说，一个7*7的滤波核正则等于3个3*3的滤波核，但使用较小的滤波核可以大幅度减少参数。然而，在密集预测的任务中，同时进行分类与定位却需要较大的卷积核，为了解决这个矛盾，论文提出了一种全局卷积网络，同时使用了boundary refinement block来精调分割的边缘。

相关背景介绍：

1、语义分割的两个方面天然对立，对于分类来说，要求模型对各种变换具有不变性；而对于定位，则要求模型对变换具有高度敏感性。

2、从以上两个方面出发，可以引申出设计网络的两个原则：第一，从定位的角度出发，应该采用全卷积的结构，去掉全连接层或全局池化层；第二，从分类的角度出发，应该采用较大的卷积核，使得像素与特征图的结合更加紧密，增强处理不同变换的能力，而且，一旦卷积核过小，造成感受野过小，覆盖不了较大的目标，不利于分类。

问题的解决：

从上图可知，论文中并非直接使用了较大的卷积核，而是分成了两条支路，一条使用了k*1*c*21 + 1*k*21*21，另一条使用了1*k*c*21 + k*1*21*21，最终合为w*h*21的大小，此处的卷积应该使用了“same”形式的卷积，这样才能保证特征图的尺寸不变，整个过程相同于使用了k*k大小的卷积核，但复杂度明显降低。

这种网络，整体的框架使用了预训练的resnet作为特征提取网络，FCN作为分割框架，在卷积的不同阶段使用了GCN来提取信息预测得分图，得分图经过上采样再传入上一层得到新的得分图，另外，论文中还添加了一个BR来refine边缘。