关于卷积神经网络的一些定义

卷积神经网络

1、定义：

卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一 [1-2]  。由于卷积神经网络能够进行平移不变分类（shift-invariant classification），因此也被称为“平移不变人工神经网络（Shift-Invariant Artificial Neural Networks, SIANN）” [3]  。

附注一些定义：

①、卷积是分析数学中一种重要的运算。

设:f(x),g(x)是R1上的两个可积函数，作积分：

 

可以证明，关于几乎所有的实数x，上述积分是存在的。这样，随着x的不同取值，这个积分就定义了一个新函数h(x)，称为函数f与g的卷积，记为h(x)=(f*g)(x)。

②、前馈神经网络是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层．各层间没有反馈。

③、人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

人工神经网络按其模型结构大体可以分为前馈型网络（也称为多层感知机网络）和反馈型网络（也称为Hopfield网络）两大类，前者在数学上可以看作是一类大规模的非线性映射系统，后者则是一类大规模的非线性动力学系统。它们的结构模型如图1、图2所示，图中圆圏代表神经元，其间的有向连线代表神经元突触。按照学习方式，人工神经网络又可分为有导师学习和无导师学习两类；按工作方式则可分为确定性和随机性两类；按时间特性还可分为连续型或离散型两类，等等。

2、卷积神经网络的结构：

1）、输入层

      由于使用梯度下降进行学习，卷积神经网络的输入特征需要进行标准化处理。具体地，在将学习数据输入卷积神经网络前，需在通道或时间/频率维对输入数据进行归一化，若输入数据为像素，也可将分布于 [0,255]的原始像素值归一化至 [0,1] 区间   。输入特征的标准化有利于提升算法的运行效率和学习表现 。

2）、隐含层

卷积神经网络的隐含层包含卷积层、池化层和全连接层3类常见构筑，卷积层和池化层为卷积神经网络特有。

①卷积层（convolutional layer）

功能是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量（bias vector），类似于一个前馈神经网络的神经元（neuron）。卷积层参数包括卷积核大小、步长和填充。

②池化层（pooling layer）

在卷积层进行特征提取后，输出的特征图会被传递至池化层进行特征选择和信息过滤。池化层包含预设定的池化函数，其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量。池化层选取池化区域与卷积核扫描特征图步骤相同，由池化大小、步长和填充控制 。

③全连接层（fully-connected layer）

卷积神经网络中的全连接层等价于传统前馈神经网络中的隐含层。全连接层通常搭建在卷积神经网络隐含层的最后部分，并只向其它全连接层传递信号。特征图在全连接层中会失去3维结构，被展开为向量并通过激励函数传递至下一层 。

3）、输出层

卷积神经网络中输出层的上游通常是全连接层，因此其结构和工作原理与传统前馈神经网络中的输出层相同。对于图像分类问题，输出层使用逻辑函数或归一化指数函数（softmax function）输出分类标签 。

 

参考自百度关键词：https://baike.baidu.com/item/卷积神经网络/17541100?fr=aladdin