Inception系列4_Xception： Deep Learning with Depthwise Separable Convolutions

Xception： Deep Learning with Depthwise Separable Convolutions
作者：Franc ¸ois Chollet

卷积层的作用是既要学习二维信息，也要学习三维信息。为了使得这种学习简单高效，inception将其分解为一系列的操作，独立的学习二维和三维特征。首先通过一系列的1X1关注与三维相关性，映射到3~4个独立的比输入更小的空间，然后在通过3x3 或者 5x5的卷积处理。假设就是，三维和二维的相关性被减弱，进行独立映射也很好。另一种变形就是独立的处理网络的宽度相关性和高度相关性，比如Inception V3中的 7x1 和1x7 卷积。
作者提出一个大胆的假设，三维相关性（通道之间的相关性）和二维相关性（每个特征图自己的相关性）完全独立进行映射。根据这个假设，提出了一个极端变形的inception模块，如图3。

如果更加极端，如图4。

意思是，首先通过一个1X1的卷积，然后将输出的通道平分为多份，对每份分别使用3X3卷积。
depthwise separable convolution，在深度学习中通常被称为separable convolution，操作方法为：首先对输入的每个通道独立的使用卷积，然后在使用一个1X1的卷积，将这些通道的输出映射到一个新的通道。
这个极端的inception和separable convolution有两个不同：
a) 极端的inception是先1X1卷积，separable convolution是先对通道进行卷积操作；
b）操作之后的非线性。Inception中，每个卷积操作之后加一个ReLU non-linearity；而separable convolution中通常不加non-linearities。
作者对separable convolution后边增加何种non-linearity或者不加，进行了实验。如图10。

The Xception architecture
假设是：卷积神经网络特征图中的通道之间的相关性和特征图的相关性可以被完全的减弱。如图5。

Experimental evaluation
作者在两个数据集进行测试，ImageNet dataset（单标签，1000类），JFT dataset（多标签，17000类，使用FastEval14k测试）。对FastEval14k，使用top 100计算Mean Average Precision（见博客）来评估。
对两个数据集的配置如下：
• On ImageNet:
– Optimizer: SGD
– Momentum: 0.9
– Initial learning rate: 0.045
– Learning rate decay: decay of rate 0.94 every 2 epochs
• On JFT:
– Optimizer: RMSprop
– Momentum: 0.9
– Initial learning rate: 0.001
– Learning rate decay: decay of rate 0.9 every 3,000,000 samples

Regularization configuration
Weight decay：Inception V3使用weight decay (L2 regularization) rate of 4e – 5，Xception是1e – 5。对两个数据集。
Dropout：对ImageNet，两个模型在logistic regression层之前包含dropout 层，rate 0.5。对JFT，没有使用dropout。
Auxiliary loss tower：不使用。
结果：
ImageNet结果，如表1。

JFT数据集结果：

在ImageNet上对Xception使用残差模块的效果进行探索：

在ImageNet数据集上实验：在depthwise 和pointwise operations之间加non-linearity的效果，如图10。