【详解】神经网络梯度更新方法

神经网络参数更新方法

1、SGD

• SGD（Stochastic Gradient Descent）就是最常见的随机梯度下降。

• 向着参数的梯度的负方向改变（梯度方向是增加的方向）。

$$x+=-learning\_rate\ast dx$$

这里的x可以是权值w也可以是偏置b。

2、MBGD

• MBGD（Mini Batch Gradient Descent）小批量梯度下降

• 对每个批次中的n个训练样本，这种方法只执行一次更新。

• 为了避免SGD和标准梯度下降中存在的问题。

使用小批量梯度下降的优点是：

1. 可以减少参数更新的波动，最终得到效果更好和更稳定的收敛。
2. 还可以使用最新的深层学习库中通用的矩阵优化方法，使计算小批量数据的梯度更加高效。
3. 通常来说，小批量样本的大小范围是从50到256，可以根据实际问题而有所不同。
4. 在训练神经网络时，通常都会选择小批量梯度下降算法。

3、Momentum update

• SGD方法中的高方差振荡使得网络很难稳定收敛。
• 研究者提出了一种称为动量（Momentum）的技术，通过优化相关方向的训练和弱化无关方向的振荡，来加速SGD训练。

受到物理中的启发：例子的力与势能梯度有相对关系。例子感受到的力，正是损失函数的负梯度。F=ma，负梯度正比于粒的加速度。与普通SGD不同，梯度直接作用于位置，这里用物理的角度来看，梯度直接影响速度，速度再影响位置。
$$\begin{array}{rl}x+=& -learning\_rate\ast dx\\ x+=& v\end{array}$$

4、Nestrevo Momentum update

与Momentum稍稍有点不同。对于凸函数具有较强的理论收敛保证，实际中效果比Mnmentum稍好。

• 通过使网络更新与误差函数的斜率相适应，并依次加速SGD。
• 也可根据每个参数的重要性来调整和更新对应参数，以执行更大或更小的更新幅度。

当前参数向量在点x处，从Momentum更新中看v，忽略第二项v变成mu*v。做一个提前量用x_ahead=x+mu*v代替x。
$$\begin{array}{rl}& x\_ahead=x+mu\ast v\\ & v=mu\ast v-learning\_rate\ast dx\_ahead\\ & x+=v\end{array}$$

每个参数适应学习率方法

前面的方法对每个参数学习了是固定的，调整学习率是一个耗时的过程。可以使用对每个参数都适应的学习率。

5、Adagrad

$$\begin{array}{rl}& cache+=(dx{)}^2\\ & x+=-learning\_rate\ast \frac{dx}{(np.sqrt(cache)+eps)}\end{array}$$

Adagrad方法是通过参数来调整合适的学习率η，对稀疏参数进行大幅更新和对频繁参数进行小幅更新。因此，Adagrad方法非常适合处理稀疏数据。

对于大的梯度，会使他的有效学习率减小；对于小的梯度会使他的有效学习率增大。这种方法的一个缺点是，在深度学习中，单调的学习率通常证明太激进，会使学习停止过早。

6、AdaDelta

AdaDelta方法是AdaGrad的延伸方法，它倾向于解决其学习率衰减的问题。Adadelta不是累积所有之前的平方梯度，而是将累积之前梯度的窗口限制到某个固定大小w。

7、RMSprop

​ RMSprop是一种有效，但目前还未公开发布的自适应学习率方法。RMSprop改进Adagrad方法，减小他的激进，使用单调减小学习率。特别的，它使用了梯度平方移动平均值。
$$\begin{array}{rl}& cache=decay\_rate\ast cache+(1-decay\_rate)\ast (dx{)}^2\\ & x+=-learning\_rate\ast \frac{dx}{(np.sqrt(cache)+eps)}\end{array}$$
decay_rate是一个超参数，典型值为[0.9, 0.99, 0.999]。
根据梯度尺度来调整学习率是一个有利均衡的效果，但与Adagrad不同，更新不是单调小。

8、Adam

Adam算法即自适应时刻估计方法（Adaptive Moment Estimation），能计算每个参数的自适应学习率。这个方法不仅存储了AdaDelta先前平方梯度的指数衰减平均值，而且保持了先前梯度M(t)的指数衰减平均值，有点像RMSprop结合momentum。

简单的更新如下：
$$\begin{array}{rl}& m=beltal\ast m+(1-belta1)\ast dx\\ & v=belta2\ast v+(1-belta2)\ast (dx{)}^2\\ & x+=-learning\_rate\ast \frac{dx}{(np.sqrt(v)+eps)}\end{array}$$
与RMSProp类似，使用smooth版本的梯度m代替原始梯度dx。论文中的推荐值eps=1e-8，belta1=0.9，belta2=0.999。使用推荐值的Adam方法效果RMSprop稍好。但SGD加Nestrevo Momentum也值得使用。完整的Adam方法还包括一个bias校正机制。对前几部m,v设置成0进行补偿。