神经网络优化的步骤以及常用的神经网络优化器

优化神经网络相关的参数：
w表示待优化参数，loss表示损失函数，lr表示学习率，batch表示每次迭代的数据，t表示当前batch迭代的总次数：
神经网络参数优化的步骤：

一阶动量：与梯度相关的函数
二阶动量：与梯度平方相关的函数
常用的优化器：
（1）SDG（Stochastic gradient descent）：随机梯度下降
没有动量

(2）SGDM（含momentum的Stochastic gradient descent），在SGD基础上增加一阶动量。

(3)Adagrad,在SGD基础上增加二阶动量

（4）RMSProp,在SGD基础上增加二阶动量

(5)Adam同时结合SGDM一阶动量和RMSProp二阶动量