深度学习之momentum，RMSprop，Adam优化算法

momentum算法：
除了batch/mini-batch/stochastic gradient descent 梯度下降法，还有一种算法叫做momentum梯度下降法，运行速度几乎总是快于标准的地图下降法，简而言之，基本的思想就是计算梯度的指数加权平均数，并利用该梯度更新权重 ，以下是batch/mini-batch gradient descent以及momentum梯度下降法走势图。

蓝线表示batch梯度下降法 ，红线是momentum梯度下降法

我们会发现梯度下降法需要很多计算步骤，慢慢摆动到最小值，这种上下波动减慢了梯度下降法的速度，导致我们无法使用更大的学习率，结果可能会偏离函数的范围，为了避免摆动过大，我们需要使用较小的学习率，另一个看待问题的角度是在纵轴上，我们希望慢一点，但是在横轴上，我们希望快一点，所以使用momentum梯度下降法，我们需要做的是，在每次迭代中，确切的说是在第t次迭代中，我么要计算微分dw，db，注意是利用现有的mini-batch计算dw，db，如果使用batch梯度下降法，则现在的mini-batch就是全部的batch，对于batch梯度下降法的效果是一样的。momentum的算法流程如下：
momentum
on iteration t:
compute dw,db on current mini-batch
$$\mathrm{V}\_\mathrm{d}\mathrm{w}=\beta \ast \mathrm{V}\_\mathrm{d}\mathrm{w}+\left(1-\beta \right)\ast dw$$
$$\mathrm{V}\_\mathrm{d}\mathrm{b}=\beta \ast \mathrm{V}\_\mathrm{d}\mathrm{b}+\left(1-\beta \right)\ast db$$
$$\mathrm{w}=\mathrm{w}-\alpha \mathrm{V}\mathrm{d}\mathrm{w}$$
$$\mathrm{b}=\mathrm{b}-\alpha \mathrm{V}\mathrm{d}\mathrm{b}$$
在这里$\beta$相当于摩擦力，db，dw相当于加速度，这样就可以减缓梯度下降的幅度，如果平均这些梯度，就会发现这些纵轴上的摆动，平均值接近于零。因此用算法几次迭代之后，发现momentum梯度下降法，最终以纵轴方向摆动小了，横轴方向运动更快，因此算法走了一条更加直接的路径。
在上述算法中，有两个超参数，学习率$\alpha$以及参数$\beta$，在这里$\beta$控制着指数加权平均数，$\beta$最常用的值是0.9。

RMSprop算法：
上面讲到momentum可以加快学习算法，还有一个叫做RMSprop算法，全称是（root mean square prop）算法，他也可以加速梯度下降，算法流程如下：
on iteration t:
compute dw,db on current mini-batch
$$\mathrm{S}\mathrm{d}\mathrm{w}=\beta \mathrm{S}\mathrm{d}\mathrm{w}+\left\{1-\beta \right\}d{w}^2$$
$$\mathrm{S}\mathrm{d}\mathrm{b}=\beta \mathrm{S}\mathrm{d}\mathrm{b}+\left\{1-\beta \right\}d{b}^2$$
$$\mathrm{w}=\mathrm{w}-\alpha \frac{dw}{\sqrt{Sdw+\epsilon }}$$
$$\mathrm{b}=\mathrm{b}-\alpha \frac{db}{\sqrt{Sdb+\epsilon }}$$
这里需要说明的是，上面平方的操作是针对整个符号的，这样做能够保留微分平方的加权平均数。
我们来理解一下其原理，记得在w方向，我们希望学习速度快，而在垂直方向我们希望减小在纵轴上的摆动，所以有了Sdw和Sdb，我们希望Sdw相对较小，Sdb相对较大，所以我们要除以较大的数，从而减缓纵轴上的变化，在这里，另一个影响是可以用一个更大的学习率，然后加快学习，从而无须担心其在纵轴上的偏离。注意，这里选择加上$\epsilon$,是为了防止分母为0，其实$\epsilon$对算法的真正意义不大，我们一般将$\epsilon$设置为$10^{-8}$.

Adam算法：
RMSprop以及Adam优化算法是少有的经受住考验的两种算法，他们已被证明适用于不同的深度学习结构。
Adam优化算法基本上就是将momentum和RMSprop结合在一起，我们来看看Adam算法的流程。使用Adam算法首先需要初始化
vdw=0,Sdw=0,Vdb=0,Sdb=0
on iteration t:
compute dw,db, using current mini-batch
$$\mathrm{V}\_\mathrm{d}\mathrm{w}={\beta }_1\ast \mathrm{V}\_\mathrm{d}\mathrm{w}+\left(1-{\beta }_1\right)\ast dw$$
$$\mathrm{V}\_\mathrm{d}\mathrm{b}={\beta }_1\ast \mathrm{V}\_\mathrm{d}\mathrm{b}+\left(1-{\beta }_1\right)\ast db$$
momentum更新了${\beta }_1$
$$\mathrm{S}\mathrm{d}\mathrm{w}={\beta }_2\mathrm{S}\mathrm{d}\mathrm{w}+\left\{1-{\beta }_2\right\}d{w}^2$$
$$\mathrm{S}\mathrm{d}\mathrm{b}={\beta }_2\mathrm{S}\mathrm{d}\mathrm{b}+\left\{1-{\beta }_2\right\}d{b}^2$$
RMSprop更新了超参数${\beta }_2$ 注意：一般计算Adam优化算法的时候要计算偏差修正。
$$\mathrm{V}\mathrm{d}\mathrm{w}={\beta }_1\mathrm{V}\mathrm{d}\mathrm{w}+\left(1-{\beta }_1\right)dw$$
$$\mathrm{V}\mathrm{d}\mathrm{b}={\beta }_1\mathrm{V}\mathrm{d}\mathrm{b}+\left(1-{\beta }_1\right)db$$
$$V_{dw}^{correted}=\frac{\mathrm{V}\mathrm{d}\mathrm{w}}{\left(1-{\beta }_1^t\right)}$$
$$V_{db}^{correted}=\frac{\mathrm{V}\mathrm{d}\mathrm{b}}{\left(1-{\beta }_1^t\right)}$$
$$S_{dw}^{correted}=\frac{\mathrm{S}\mathrm{d}\mathrm{w}}{\left(1-{\beta }_2^t\right)}$$
$$S_{db}^{correted}=\frac{\mathrm{S}\mathrm{d}\mathrm{b}}{\left(1-{\beta }_2^t\right)}$$
$$\mathrm{w}=\mathrm{w}-\alpha \frac{V_{dw}^{corrected}}{\sqrt{S_{dw}^{corrected}+\epsilon }}$$
$$b=\mathrm{b}-\alpha \frac{V_{db}^{corrected}}{\sqrt{S_{db}^{corrected}+\epsilon }}$$
基本流程就是这样，这里有很多超参数，超参$\alpha$很重要，经常需要调整，${\beta }_1$的常用缺省值为0.9，这是dw的移动平均数，这是momentum涉及的项，至于超参数${\beta }_2$，Adam论文的作者给出的推荐值是0.998.
最后谈谈为什么叫Adam算法，Adam代表的事Adaptive Moment Estimation。