基础网络结构（VGGNet, Inception, ResNet)

VGGNet

VGGNet是在2014年ImageNet ILSVRC图像分类竞赛获得第二名提出的神经网络架构。论文连接：Very Deep Convolutional Networks for Large-Scale Image Recognition

其中最常用的是VGGNet-16结构，从上图中可以看出VGGNet-16是由13层CNN层+3层FC层组成的，采用的卷积核都是33大小的。由于又全连接的存在，网络的输入维度是固定的，为batchsize2242243。VGG-16具体的feature map的维度如下图所示

由于该网络存在2个4096维度的全连接层，大大增加了网络训练参数，使得其耗费的计算资源也更多。

Inception

Inception是和VGGNet同年在ImageNet大赛获得第一名成绩的GoogleNet的核心网络结构。其家族网络有四个版本，下面是四个版本的论文连接：
Inception V1:https://arxiv.org/abs/1409.4842
Inception V2:https://arxiv.org/abs/1502.03167
Inception V3:https://arxiv.org/abs/1512.00567
Inception V4:https://arxiv.org/abs/1602.07261

Inception 的结构，用于增加网络深度和宽度，提高深度神经网络性能。
Inception结构的核心是采用了不同大小卷积核对网络层输入先进行卷积然后把得到特征mapfeature再拼接，其主要目的是增加特征多样化，提高网络的适应力。后续的V2,V3,V4都是在其基础进行计算量的优化，结构的优化。
Inception V2 学习了 VGG 用两个3´3的卷积代替5´5的大卷积，在降低参数的数量的同时建立了更多的非线性变换，使得 CNN 对特征的学习能力更强。

Inception V3的思想是将一个卷积核拆分成两个一维卷积核。论文中指出这种非对称的卷积结构拆分，其结果比对称地拆为几个相同的小卷积核效果更明显，可以处理更多、更丰富的空间特征，增加特征多样性。同时也减少了参数的数量。另一方面，Inception V3 优化了 Inception Module 的结构，现在 Inception Module 有35´35、17´17和8´8三种不同结构。这些 Inception Module 只在网络的后部出现，前部还是普通的卷积层。并且 Inception V3 除了在 Inception Module 中使用分支，还在分支中使用了分支（8´8的结构中），可以说是Network In Network In Network。最终取得 top-5 错误率 3.5%。

ResNet

论文连接：https://arxiv.org/pdf/1512.03385.pdf
ResNet中也有许多不同网络深度网络结构，在这里主要说说ResNet-50.
从上图中可以看出ResNet对输入的处理都是相同，输入2242243经过7764的卷积核和步长为2的卷积后，再对feature_map使用2*2，步长为2的max pool。然后再经过一系列卷积block操作。最后用average pool代替全连接层，再接一个用于分类处理的softmax。

上面第一张图右边支路增加一个1*1卷积操作，其作用是改变输入的通道数，以方便于左边之路进行add操作。而下面这张图右边正是我们说的恒等映射，直接与输出add得到下一层输入。这样使得随着网络深度的增加，也能一定程度减少梯度消失的情况。但是如果网络结构深度非常大，该网络不能保证每个输入都经过恒等映射的支路，所以一味增加网络深度的效果并不是很好，而且模型的参数也随之增大，不易训练。
自ResNet的提出，大牛又提出一系列的变体ResNet网络结构，其有Wide Residual Network，ResNext，DenseNet，MobileNet等，下面这篇博文，很好的介绍了他们。ResNet六大变体