卷积神经网络概述

**

卷积神经网络（Convolutional Neural Networks, CNN）

**
是一类包含卷积计算且具有深度结构的前馈神经网络
是深度学习的代表算法之一
卷积神经网络具有表征学习（representation learning）能力
能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification），因此也被称为“平移不变人工神经网络（Shift-Invariant Artificial Neural Networks, SIANN）
时间延迟网络和LeNet-5是最早出现的卷积神经网络

**

1.历史

**
第一个卷积神经网络是1987年由Alexander Waibel等提出的时间延迟网络（Time Delay Neural Network, TDNN） [12] 。TDNN是一个应用于语音识别问题的卷积神经网络

1988年，Wei Zhang提出了第一个二维卷积神经网络：平移不变人工神经网络（SIANN），并将其应用于检测医学影像

在LeNet的基础上，1998年Yann LeCun及其合作者构建了更加完备的卷积神经网络LeNet-5并在手写数字的识别问题中取得成功

**

2.结构

**
2.1 输入层

卷积神经网络的输入层可以处理多维数据，常见地，一维卷积神经网络的输入层接收一维或二维数组，其中一维数组通常为时间或频谱采样；二维数组可能包含多个通道；二维卷积神经网络的输入层接收二维或三维数组；三维卷积神经网络的输入层接收四维数组 。

由于卷积神经网络在计算机视觉领域应用较广，因此许多研究在介绍其结构时预先假设了三维输入数据，即平面上的二维像素点和RGB通道。

与其它神经网络算法类似，由于使用梯度下降算法进行学习，卷积神经网络的输入特征需要进行标准化处理。具体地，在将学习数据输入卷积神经网络前，需在通道或时间/频率维对输入数据进行归一化，若输入数据为像素，也可将分布于 的原始像素值归一化至 区间 [16] 。输入特征的标准化有利于提升卷积神经网络的学习效率和表现

2.2 隐藏层

卷积神经网络的隐含层包含卷积层、池化层和全连接层3类常见构筑，在一些更为现代的算法中可能有Inception模块、残差块（residual block）等复杂构筑。

在常见构筑中，卷积层和池化层为卷积神经网络特有。卷积层中的卷积核包含权重系数，而池化层不包含权重系数，因此在文献中，池化层可能不被认为是独立的层。
以LeNet-5为例，3类常见构筑在隐含层中的顺序通常为：输入-卷积层-池化层-全连接层-输出。

卷积层（convolutional layer）
池化层（pooling layer）
Inception模块（Inception module）
全连接层（fully-connected layer）

2.3 输出层

卷积神经网络中输出层的上游通常是全连接层
对于图像分类问题，输出层使用逻辑函数或归一化指数函数（softmax function）输出分类标签 。

在物体识别（object detection）问题中，输出层可设计为输出物体的中心坐标、大小和分类 。
在图像语义分割中，输出层直接输出每个像素的分类结果