Self Summary: Back Propagation (BP) network

As we all known, neural network makes use of the back propagation to improve itself. But we need to dig deep to how this runs in this passage. 

Most of the following content are from http://www.cnblogs.com/wentingtu/archive/2012/06/05/2536425.html

BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。

它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。

传播的对象是误差，传播的目的是得到所有层的估计误差。利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。 

BP利用一种称为激活函数来描述层与层输出之间的关系，从而模拟各层神经元之间的交互反应。


激活函数必须满足处处可导的条件。那么比较常用的是一种称为S型函数的激活函数：

其导数为：

画图结果为：

神经网络学习的方式：
在外界输入样本的刺激下不断改变网络的连接权值
 

有监督的BP模型训练表示我们有一个训练集，它包括了： input X 和它被期望拥有的输出 output Y
所以对于当前的一个BP模型，我们能够获得它针对于训练集的误差
所以BP的核心思想就是：将输出误差以某种形式通过隐层向输入层逐层反传。

具体的误差传播数学表示如下：