LSTM解决RNN梯度消失与梯度爆炸问题

RNN(Recurrent Neural Network)由于其递归的网络结构(如图1所示)，对于处理序列建模任务具有独特的优势，因此在许多领域有着广泛的应用。如自然语言处理、语音识别等。

1.RNN的BPTT

根据RNN的网络结构可写出其基本方程：
$$\begin{gathered} S_t=\delta (W{S}_{t-1}+U{X}_t)(1) \\ {O}_t=\delta (V{S}_t)(2) \end{gathered}$$
假设交叉熵为其损失函数loss：
$$L=-\sum _{t=1}^n{O}_{t}log\widehat{O_t}(3)$$
然后分别对W、U、V求偏导
先求V的偏导，因其偏导较为简单
$$\frac{\partial L}{\partial V}=\frac{\partial L}{\partial O_t}\cdot \frac{\partial O_t}{\partial V}(4)$$
再对W和U求偏导
由公式(1)可知，当前时刻的状态不仅与当前的输入有关，而且还与与前一时刻的状态有关。
对W和U运用链式求导
$$\begin{array}{rl}\frac{\partial L}{\partial W}& =\frac{\partial L}{\partial O_t}\cdot \frac{\partial O_t}{\partial S_t}\cdot \frac{\partial S_t}{\partial S_{t-1}}\cdot \frac{\partial S_{t-1}}{\partial S_{t-2}}\cdot ...\cdot \cdot \frac{\partial S_1}{\partial S_0}\cdot \frac{\partial S_0}{\partial W}\\ & =\frac{\partial L}{\partial O_t}\cdot \frac{\partial O_t}{\partial S_t}\cdot \prod _{k=1}^t\frac{\partial S_k}{\partial S_{k-1}}\cdot \frac{\partial S_{k-1}}{\partial W}(5)\end{array}$$
同理可得
$$\begin{array}{rl}\frac{\partial L}{\partial U}& =\frac{\partial L}{\partial O_t}\cdot \frac{\partial O_t}{\partial S_t}\cdot \frac{\partial S_t}{\partial S_{t-1}}\cdot \frac{\partial S_{t-1}}{\partial S_{t-2}}\cdot ...\cdot \cdot \frac{\partial S_1}{\partial S_0}\cdot \frac{\partial S_0}{\partial U}\\ & =\frac{\partial L}{\partial O_t}\cdot \frac{\partial O_t}{\partial S_t}\cdot \prod _{k=1}^t\frac{\partial S_k}{\partial S_{k-1}}\cdot \frac{\partial S_{k-1}}{\partial U}(6)\end{array}$$

2.RNN梯度消失与梯度爆炸

由公式(1)可知
$$\frac{\partial S_t}{\partial S_{t-1}}=W\cdot {\sigma }^{\prime }(7)$$
sigmod函数

当公式(7)的乘积小于1时，公式(5)和公式(6)就会趋近于0，也即梯度消失；
当公式(7)的乘积大于1时，公式(5)和公式(6)就会趋近于无穷大，也即梯度爆炸；

3.LSTM解决RNN梯度问题

PS：图片来源于http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 下面公式中的标号参考该链接中图片标号。
$$\begin{array}{rl}{i}_t& =\sigma (W_i[h_{t-1};x_t]+b_i)(8)\\ f_t& =\sigma (W_f[h_{t-1};x_t]+b_f)(9)\\ {\tilde{C}}_t& =tanh(W_c[h_{t-1};x_t]+b_c)(10)\\ C_t& =i_t\ast {\tilde{C}}_t+f_t\ast C_{t-1}(11)\\ o_t& =\sigma (W_o[h_{t-1};x_t]+b_o)(12)\\ h_t& =o_t\ast tanh(C_t)(13)\end{array}$$
类比RNN中偏导的连乘部分，LSTM中连乘部分为
$$\frac{\partial C_t}{\partial C_{t-1}}=f_t=\sigma (14)$$
对比公式(7)和公式(14)，LSTM的连乘部分变成了σ，在实际参数更新过程中，通过控制其值接近于1，则经过多次连乘(训练)后，梯度也不会消失；而σ的值不会大于1，故不会出现梯度爆炸。