常见优化器总结

一、BGD(批量梯度下降)

定义：批量梯度下降法是最原始的形式，它是指在每一次迭代时使用所有样本来进行梯度的更新。

优点：一次迭代是对所有样本进行计算，此时利用矩阵进行操作，实现了并行。由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。当目标函数为凸函数时，BGD一定能够得到全局最优。

缺点：当样本数据m很大时，每迭代一步都需要对所有样本计算，训练过程会很慢。

二、SGD(随机梯度下降)

定义：每次迭代仅使用一个训练样本来计算损失函数的梯度，并更新模型参数

特点：适用于大规模数据集和在线学习场景

三、Momentum(动量法)

定义：通过引用一个累计梯度的指数加权平均，将过去的梯度信息考虑进当前的参数更新中，从而增加稳定性和提高训练效率。

特点：常用于改进随机梯度下降(SGD)和小批量梯度下降(MBGD)等优化器

四、NAG(Nesterov Accelerated Gradient)

定义：在动量法基础上进行改进的优化算法，先按照之前的动量更新参数，再在这个新的位置计算梯度，并根据此调整更新方向。

特点：可以减少摆动，加快收敛速度

五、Adagrad

定义：一种自适应梯度下降的优化器，对不同参数使用不同的学习率。对于更新频率较低的参数施以较大的学习率，对于更新频率较高的参数使用较小的学习率。

特点：使用大规模数据集和特征提取任务

六、RMSprop

定义：对Adagrad的一种改进，根据梯度的历史信息来自适应地调整学习率。使用梯度的指数加权平均而不是累积和来计算学习率。

特点：适用于处理非稀疏数据和长期依赖的问题

七、Adadelta

定义：对Adagrad的另一种改进，通过计算梯度平方的指数加权移动平均来避免学习率趋于0的问题，同时简化了计算。

特点：适用于需要很长时间训练的大型神经网络和需要稳定学习率的任务

八、Adam

定义：结合了AdaGrad和Momentum两种优化算法的优点，能够快速收敛并且减少训练时间。

Adam优化器计算出每个参数的独立自适应学习率，不需要手动调整学习率的大小

特点：适用于处理大规模数据和训练复杂模型