使用什么优化器_新的深度学习优化器Ranger：RAdam + LookAhead强强结合

作者：Less Wright

编译：ronghuaiyang

导读

给大家介绍一个新的深度学习优化器，Ranger，同时具备RAdam和LookAhead的优点，一行代码提升你的模型能力。

Ranger 优化器结合了两个非常新的发展(RAdam + Lookahead)到一个单一的优化器中。为了证明它的有效性，我们的团队最近使用 Ranger 优化器在 FastAI 全球排行榜上获得了 12 个排行榜记录。

Lookahead 是 Ranger 优化器的其中一半，是由著名的深度学习研究员 Geoffrey Hinton 在 2019 年 7 月的一篇新论文“LookAhead optimizer: k steps forward, 1 step back“中介绍的。LookAhead 的灵感来自于最近在理解神经网络损失曲面方面的进展，并提出了一种全新的稳定深度学习训练和收敛速度的方法。基于 RAdam(Rectified Adam)在深度学习的方差管理方面取得的突破，我发现将 RAdam + LookAhead 组合在一起(Ranger)可以产生一个梦之队，可以得到甚至比单独的 RAdam 更好的优化器。

Ranger 优化器是一个易于使用和高效的单一代码库(加载/保存和一个循环处理的所有参数的更新)，集成到了 FastAI 中，Ranger 的源代码你可以直接拿来用：https://github.com/lessw2020/Ranger-Deep-Learning-Optimizer。

Adam，SGD和Look Ahead + Adam/SGD在LSTM上的对比

为什么 RAdam 和 LookAhead 是互补的

可以说，RAdam 为优化器在开始训练时提供了最好的基础。RAdam 利用一个动态整流器来根据变化调整 Adam 的自适应动量，针对当前数据集，有效地提供了一个自动 warm-up，，以确保可以得到一个扎实的训练开头。

LookAhead 的灵感来自于最近对深度神经网络损失曲面的理解，并为在整个训练过程中进行健壮和稳定的探索提供了突破。

引用 LookAhead 团队的话说，LookAhead“减少了对大量超参数调优的需求”，同时“以最小的计算开销在不同深度学习任务之间实现更快的收敛”。

因此，两者都在深度学习优化的不同方面提供了突破，并且两者的结合具有高度的协同性，可能为你的深度学习结果提供了两种改进的最佳效果。因此，对更稳定和更健壮的优化方法的追求将继续下去，通过结合两个最新的突破(RAdam + LookAhead)，Ranger 的集成有望为深度学习提供另一个进步。