Pytorch-Adam算法解析

关注B站可以观看更多实战教学视频:肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com)

Hi,兄弟们,这里是肆十二,今天我们来讨论一下深度学习中的Adam优化算法。

Adam算法解析

Adam算法是一种在深度学习中广泛使用的优化算法,它的名称来源于适应性矩估计(Adaptive Moment Estimation)。Adam算法结合了两种扩展式的随机梯度下降法的优点,即适应性梯度算法(AdaGrad)和均方根传播(RMSProp)。它通过计算梯度的一阶矩估计和二阶矩估计,为不同的参数设计独立的自适应性学习率。

具体来说,Adam算法的特点和工作原理如下:

  1. 惯性保持:Adam算法记录了梯度的一阶矩,即过往所有梯度与当前梯度的平均,使得每一次更新时,梯度能平滑、稳定地过渡。这种惯性保持的特性使得算法能够适应不稳定的目标函数。
  2. 环境感知:Adam算法还记录了梯度的二阶矩,即过往梯度平方与当前梯度平方的平均。这体现了算法对环境的感知能力,并为不同的参数产生自适应的学习速率。
  3. 超参数解释性:Adam算法中的超参数具有很好的解释性,通常无需调整或仅需很少的微调。这些超参数包括学习率、一阶矩估计的指数衰减率、二阶矩估计的指数衰减率以及一个用于数值稳定的小常数。

在实际应用中,Adam算法已被证明在许多任务上,如计算机视觉和自然语言处理等深度学习应用中,具有优秀的性能。它特别适合处理大规模数据和参数的优化问题,以及非稳态目标和包含高噪声或稀疏梯度的问题。

总的来说,Adam算法是一种高效、易于实现的优化算法,它通过结合多种优化策略,为深度学习模型提供了更稳定、更快速的收敛性能。

Pytorch中的Adam算法

在PyTorch中,torch.optim.Adam 是实现 Adam 优化算法的类。以下是 Adam 优化器的一些关键参数解析:

  • params (iterable): 待优化参数的迭代器或者是定义了参数组的字典。
  • lr (float, optional): 学习率 (默认: 1e-3)。
  • betas (Tuple[float, float], optional): 用于计算梯度以及梯度平方的运行平均值的系数 (默认: (0.9, 0.999))。
  • eps (float, optional): 为了增加数值稳定性而添加到分母的一个项 (默认: 1e-8)。
  • weight_decay (float, optional): 权重衰减 (L2 惩罚) (默认: 0)。
  • amsgrad (boolean, optional): 是否使用 AMSGrad 变种算法,该算法在某些情况下能提供更好的收敛性 (默认: False)。

以下是一个简单的使用案例:

import torch  
import torch.nn as nn  
from torch.optim import Adam  
  
# 定义一个简单的模型  
model = nn.Sequential(  
    nn.Linear(10, 5),  
    nn.ReLU(),  
    nn.Linear(5, 2),  
)  
  
# 定义损失函数  
criterion = nn.CrossEntropyLoss()  
  
# 定义优化器,传入模型的参数和学习率等  
optimizer = Adam(model.parameters(), lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=False)  
  
# 假设有输入数据和目标  
input_data = torch.randn(1, 10)  
target = torch.tensor([1])  
  
# 模型的训练循环(这里只展示一个迭代)  
for epoch in range(1):  # 通常会有多个epoch  
    # 前向传播  
    output = model(input_data)  
      
    # 计算损失  
    loss = criterion(output, target)  
      
    # 反向传播  
    optimizer.zero_grad()  # 清除之前的梯度  
    loss.backward()        # 计算当前梯度  
      
    # 更新权重  
    optimizer.step()       # 应用梯度更新  
  
    print(f'Epoch {epoch+1}, Loss: {loss.item()}')

在上面的例子中,我们首先定义了一个简单的两层神经网络模型,然后定义了交叉熵损失函数作为优化目标。接着,我们创建了一个 Adam 优化器实例,并将模型的参数、学习率以及其他可选参数传递给它。在训练循环中,我们执行了标准的前向传播、损失计算、反向传播以及权重更新步骤。在每次迭代结束时,我们打印出当前的损失值。

注意,实际应用中,训练循环会包含多个 epoch,并且通常会有数据加载、模型验证和保存等其他步骤。此外,学习率和其他超参数可能需要根据具体任务进行调整。

你可能感兴趣的:(Pytorch语法,pytorch,算法,人工智能,Adam)