深度学习教程 | 经典CNN网络实例详解

深度学习教程 | 经典CNN网络实例详解

• 作者：韩信子@ShowMeAI
• 教程地址：www.showmeai.tech/tutorials/3…
• 本文地址：www.showmeai.tech/article-det…
• 声明：版权所有，转载请联系平台与作者并注明出处

收藏ShowMeAI查看更多精彩内容

---

本系列为吴恩达老师《深度学习专项课程(Deep Learning Specialization)》学习与总结整理所得，对应的课程视频可以在这里查看。

引言

在ShowMeAI前一篇文章 卷积神经网络解读 中我们对以下内容进行了介绍：

• 卷积计算、填充
• 卷积神经网络单层结构
• 池化层结构
• 卷积神经网络典型结构
• CNN特点与优势

本篇内容ShowMeAI展开介绍和总结几个有名的典型CNN案例。这些CNN是最典型和有效的结构，吴恩达老师希望通过对具体CNN模型案例的分析讲解，帮助我们理解CNN并训练实际的模型。

本篇涉及到的经典CNN模型包括：

• LeNet-5
• AlexNet
• VGG
• ResNet(Residual Network，残差网络)
• Inception Neural Network

1.经典卷积网络

1.1 LeNet-5

手写字体识别模型LeNet5由Yann LeCun教授于90年代提出来，是最早的卷积神经网络之一。它是第一个成功应用于数字识别问题的卷积神经网络。在MNIST数据中，它的准确率达到大约99.2%。

LeNet5通过巧妙的设计，利用卷积、参数共享、池化等操作提取特征，避免了大量的计算成本，最后再使用全连接神经网络进行分类识别，这个网络也是最近大量神经网络架构的起点。

• LeNet-5针对灰度图像而训练，因此输入图片维度为(32,32,1)(32,32,1)(32,32,1)(注意其中通道数为1)。
• 该模型总共包含了约6万个参数，远少于标准神经网络所需。
• 典型的LeNet-5结构包含卷积层(CONV layer)，池化层(POOL layer)和全连接层(FC layer)，排列顺序一般为CONV layer ⟹\Longrightarrow⟹ POOL layer ⟹\Longrightarrow⟹ CONV layer ⟹\Longrightarrow⟹ POOL layer ⟹\Longrightarrow⟹ FC layer ⟹\Longrightarrow ⟹ FC layer ⟹\Longrightarrow⟹ OUTPUT layer。一个或多个卷积层后面跟着一个池化层的模式至今仍十分常用。
• 当LeNet-5模型被提出时，其池化层使用的是平均池化，而且各层激活函数一般选用Sigmoid和tanh。现在我们更多的会使用最大池化并选用ReLU作为激活函数。

相关论文：LeCun et.al., 1998. Gradient-based learning applied to document recognition。吴恩达老师建议精读第二段，泛读第三段。

1.2 AlexNet

AlexNet由Alex Krizhevsky于2012年提出，夺得2012年ILSVRC比赛的冠军，top5预测的错误率为16.4%，远超第一名。

AlexNet采用8层的神经网络，5个卷积层和3个全连接层(3个卷积层后面加了最大池化层)，包含6亿3000万个链接，6000万个参数和65万个神经元。具体的网络结构如下图：

模型结构解析：

• 卷积层 ⟹\Longrightarrow⟹ (最大)池化层 ⟹\Longrightarrow⟹ 全连接层的结构。
• AlexNet模型与LeNet-5模型类似，但是更复杂，包含约6000万个参数。另外，Alex