PyTorch使用Tricks：梯度裁剪-防止梯度爆炸或梯度消失 ！！

文章目录

前言

1、对参数的梯度进行裁剪，使其不超过一个指定的值

2、一个使用的torch.nn.utils.clip_grad_norm_ 例子

3、怎么获得梯度的norm

4、什么情况下需要梯度裁剪

5、注意事项

---

前言

梯度裁剪（Gradient Clipping）是一种防止梯度爆炸或梯度消失的优化技术，它可以在反向传播过程中对梯度进行缩放或截断，使其保持在一个合理的范围内。梯度裁剪有两种常见的方法：

• 按照梯度的绝对值进行裁剪，即如果梯度的绝对值超过了一个阈值，就将其设置为该阈值的符号乘以该阈值。
• 按照梯度的范数进行裁剪，即如果梯度的范数超过了一个阈值，就将其按比例缩小，使其范数等于该阈值。例如，如果阈值为1，那么梯度的范数就是1。

在PyTorch中，可以使用 torch.nn.utils.clip_grad_value_ 和 torch.nn.utils.clip_grad_norm_ 这两个函数来实现梯度裁剪，它们都是在梯度计算完成后，更新权重之前调用的。

---

1、对参数的梯度进行裁剪，使其不超过一个指定的值

torch.nn.utils.clip_grad_value_ 是一个函数，它可以对一个参数的梯度进行裁剪，使其不超过一个指定的值。这样可以防止梯度爆炸或梯度消失的问题，提高模型的训练效果。

import torch
import torch.nn as nn

# 定义一个简单的线性模型
model = nn.Linear(2, 1)
# 定义一个优化器
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
# 定义一个损失函数
criterion = nn.MSELoss()

# 生成一些随机的输入和目标
x = torch.randn(4, 2)
y = torch.randn(4, 1)

# 前向传播
output = model(x)
# 计算损失
loss = criterion(output, y)
# 反向传播
loss.backward()

# 在更新权重之前，对梯度进行裁剪，使其不超过0.5
torch.nn.utils.clip_grad_value_(model.parameters(), clip_value=0.5)

# 更新权重
optimizer.step()

这段代码中，使用了 torch.nn.utils.clip_grad_value_ 函数，它接受两个参数：一个是模型的参数，一个是裁剪的值。它会对每个参数的梯度进行裁剪，使其在 [-0.5，0.5]的范围内。这样可以避免梯度过大或过小，影响模型的收敛。

2、一个使用的torch.nn.utils.clip_grad_norm_ 例子

import torch
import torch.nn as nn
import torch.optim as optim

# 假设我们有一个简单的全连接网络
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc = nn.Linear(10, 1)

    def forward(self, x):
        return self.fc(x)

# 创建网络、优化器和损失函数
model = Net()
optimizer = optim.SGD(model.parameters(), lr=0.01)
loss_fn = nn.MSELoss()

# 假设我们有一些随机输入数据和目标
data = torch.randn(5, 10)
target = torch.randn(5, 1)

# 训练步骤
outputs = model(data)  # 前向传播
loss = loss_fn(outputs, target)  # 计算损失
optimizer.zero_grad()  # 清零梯度
loss.backward()  # 反向传播，计算梯度

# 在优化器步骤之前，我们使用梯度裁剪
nn.utils.clip_grad_norm_(model.parameters(), max_norm=20, norm_type=2)

optimizer.step()  # 更新模型参数

在PyTorch中，nn.utils.clip_grad_norm_ 函数用于实现梯度裁剪。这个函数会首先计算出梯度的范数，然后将其限制在一个最大值之内。这样可以防止在反向传播过程中梯度过大导致的数值不稳定问题。

这个函数的参数如下：

• parameters：一个基于变量的迭代器，会进行梯度归一化。通常我们会传入模型的参数，如 model.parameters() 。
• max_norm：梯度的最大范数。如果梯度的范数超过这个值，那么就会对梯度进行缩放，使得其范数等于这个值。
• norm_type：规定范数的类型。默认为2，即L2范数。如果设置为1，则使用L1范数；如果设置为0，则使用无穷范数。

这段代码的工作流程如下：

1. outputs = model(data)：前向传播，计算模型的输出。
2. loss = loss_fn(outputs, target)：计算损失函数。
3. optimizer.zero_grad()：清零所有参数的梯度缓存。
4. loss.backward()：反向传播，计算当前梯度。
5. nn,utils.clip_grad_norm_(model.parameters(), max_norm=20, norm_type=2)：对梯度进行裁剪，防止梯度爆炸。
6. optimizer.step()：更新模型的参数。

3、怎么获得梯度的norm

# 对于模型的每个参数，计算其梯度的L2范数
for param in model.parameters():
    grad_norm = torch.norm(param.grad, p=2)
    print(grad_norm)

这段代码中，使用了 torch.norm 函数，它接受两个参数：一个是要计算范数的张量，一个是范数的类型。指定了范数的类型为2，表示计算L2范数。这样，就可以获得每个参数的梯度的L2范数。

4、什么情况下需要梯度裁剪

梯度裁剪主要用于解决神经网络训练中的梯度爆炸问题。以下是一些可能需要使用梯度裁剪的情况：

（1）深度神经网络：深度神经网络，特别是RNN，在训练过程中容易出现梯度爆炸的问题。这是因为在反向传播过程中，梯度会随着层数的增加而指数级增大。

（2）训练不稳定：如果你在训练过程中观察到模型的损失突然变得非常大或者变为NaN，这可能是梯度爆炸导致的。在这种情况下，使用梯度裁剪可以帮助稳定训练。

（3）长序列训练：在处理长序列数据（如机器翻译或语音识别）时，由于序列长度的增加，梯度可能会在反向传播过程中累加并导致爆炸。梯度裁剪可以防止这种情况发生。

需要注意的是，虽然梯度裁剪可以帮助防止梯度爆炸，但它不能解决梯度消失的问题。对于梯度消失问题，可能需要使用其他技术，如门控循环单元（GRU）或长短期记忆（LSTM）网络，或者使用残差连接等方法。

5、注意事项

梯度裁剪虽然是一种有效防止梯度爆炸的技术，但它也有一些潜在的缺点：

（1）选择合适的裁剪阈值：选择一个合适的梯度裁剪阈值可能会比较困难。如果阈值设置的太大，那么梯度裁剪可能就无法防止梯度爆炸；如果阈值设置的太小，那么可能会限制模型的学习能力。通常，这个阈值需要通过实验来确定。

（2）不能解决梯度消失问题：梯度裁剪只能防止梯度爆炸，但不能解决梯度消失问题。在深度神经网络中，梯度消失也是一个常见的问题，它会导致网络的深层部分难以训练。

（3）可能影响优化器的性能：某些优化器，如Adam和RMSProp，已经包含了防止梯度爆炸的机制。在这些优化器中使用梯度裁剪可能会干扰其内部的工作机制，从而影响训练的效果。

（4）可能引入额外的计算开销：计算和应用梯度裁剪需要额外的计算资源，尤其是在参数量非常大的模型中。

参考：深度图学习与大模型LLM