反向传播梯度求解推导

1. 引入

反向传播是一场以误差（Error）为主导的反向传播（Back Propagation）运动，目的在于优化神经网络中的参数（权重，偏置）。

2. 常见符号解释

图1

是第 层的第 个神经元连接第 层的第 个神经元的权重

图2

表示第 层的第 个节点的偏置，所有连接到该节点的链接都公用该偏置
表示第 层第 个节点的输入：即
向量化之后得到:

前向传播公式：

3.反向传播推导

反向传播是为了计算出和 其中表示损失函数

图3

假设

是标签

图4

将小红人看做是一个小的扰动，我们将它看做一个小的误差，误差会随神经网络传播，对网络的输出产生影响。

公式一

最后一层误差：
向量形式：

公式二

任意层的误差：

假设我们已知第层的误差，通过回传到第层

公式三

权重梯度

解释: 根据 层输入与输出关系
由 得
然后需要将此处X替换成前一层的输出，即为这一层的输入 替换后即得到公式3

公式四

同理得到

为了让自己记住而已，每次看完都会忘记，，，，详细可参考http://neuralnetworksanddeeplearning.com/chap2.html
讲的很好哟