深度学习基础（二）Backpropagation Algorithm

我们知道神经网络有forward propagation，很自然会想那有没有Backpropagation，结果还真有。

forward progation相当于神经网络额一次初始化，但是这个神经网络还缺少训练，而Backpropagation Algorithm就是用来训练神经网络的。

假设现在又m组训练集

代价函数为：

单个神经元的

神经网络的：

现在用经典的梯度下降法求解：

其中

我们引入误差项代表第l层的第i个单元对于整个我们整个神经网络输出误差的贡献大小

还记得我们前面提到

  

Backpropagation algorithm:

1. Perform a feedforward pass, computing the activations for layers L₂, L₃, and so on up to the output layer .
2. For each output unit i in layer n_l (the output layer), set

   

3. For 

   For each node  i in layer  l, set

   

4. Compute the desired partial derivatives, which are given as:

   

The algorithm can then be written:

1. Perform a feedforward pass, computing the activations for layers , , up to the output layer , using the equations defining the forward propagation steps
2. For the output layer (layer ), set

   

3. For 

   Set

   

4. Compute the desired partial derivatives:

   

还BP算法中很重要的是中间隐层误差项的推导，我们接下来特别地详细研究一下:

我们假设代价函数为

,

其中

 是训练集的输出线

 是实际的输出项

对于每个单元的输出项:

我们现在也求解

其中

特别地，如果是隐含层j，那么

综上可以得到：

我们可以看到，BP算法的误差由输出向输入方向累计传递。这使得如果中间某一层单元的误差出现计算错误时，会影响最后收敛的结果，因此最好在求解过程中进行梯度检验（gradient check），也就是在参数附近选两个点用差分逼近偏导数，如果差分法求出的结果与偏导数相差太大，则很有可能是计算出错了。

参考资料:

http://en.wikipedia.org/wiki/Backpropagation

http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial