BP神经网络

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JkPMMrLg-1584019421370)(https://i.loli.net/2018/05/08/5af0f8c4ee0c1.png)]
BP神经网络的特点：

• 网络由多层构成，层与层之间全连接，同一层之间无连接
• BP网络的传递函数必须可微(二值函数就不行，一般用Sigmoid或线性函数作为传递函数)
• 采用误差反向传播算法进行学习

反向传播算法推导(以三层BP网络为例)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Dn7kjMbu-1584019421371)(https://i.loli.net/2018/05/08/5af0f8d026639.png)]
在三层BP网络中，定义：

• 输入神经元个数为$M$
• 隐含层神经元个数为$I$
• 输出层神经元个数为$J$
• 输入层第$m$个神经元记为$x_m$
• 隐含层第$i$个神经元记为$k_i$
• 输出层第$j$个神经元记为$y_j$
• 从$x_m$到$k_i$的连接权值为$w_{mi}$
• 从$k_i$到$y_j$的连接权值记为$w_{i}j$
• 隐含层传递函数为$Sigmoid$函数
• 输出层传递函数为线性函数
• 用$u$和$v$分别表示每一层的输入输出(如$u_I^1$表示$I$层的第一个神经元的输入)
• 网络的实际输出$Y(n)=[v_J^1,v_J^2,...,v_J^J]$
• 网络的期望输出$d(n)=[d_1,d_2,...,d_n]$
• 第$n$次迭代的误差信号$e_j(n)=d_j(n)-Y_j(n)$
• 第$n$次迭代的误差能量定义为$e(n)=\frac{1}{2}{\sum }_{j=1}^J{e}_j^2(n)$