AdamW 是 Adam 优化算法的改进版本； warmup_steps：学习率热身的步数

AdamW 是 Adam 优化算法的改进版本

1. optimizer = torch.optim.AdamW(model.parameters(), lr=2e-4)

这行代码的作用是创建一个优化器对象，该对象会在模型训练期间更新模型的参数。

• torch.optim.AdamW：这是 PyTorch 提供的一个优化器类，它实现了 AdamW 优化算法。AdamW 是 Adam 优化算法的改进版本，主要改进在于加入了权重衰减（weight decay）机制，能够有效防止模型过拟合。
• model.parameters()：这是传入优化器的参数，它包含了模型中所有需要训练的参数。优化器会在训练时更新这些参数，从而让模型的性能得到提升。
• lr=2e-4