深度学习篇---模型权重变化与维度分析

---

---

前言

通过增加网络深度和引入高级技术，模型可以解决更复杂的问题（如图像分类、自然语言处理）。理解权重的动态变化和维度传递，是设计高效神经网络的关键。本文简单介绍了神经网络模型权重变化与维度分析的相关知识。

---

1. 权重的作用

在深度学习中，权重（Weight） 是神经网络的核心参数。每个神经元通过权重对输入数据进行加权求和，再经过激活函数输出结果。训练模型时，通过调整权重使得预测结果接近真实值，这一过程称为“学习”。

2. 权重的维度

权重的维度由网络层的结构决定：

全连接层

全连接层：若输入特征数为 m，输出特征数为 n，权重维度为 (n, m)。

卷积层

卷积层：若使用 k 个大小为 3x3 的卷积核，输入通道为 c，则权重维度为 (k, c, 3, 3)（PyTorch 格式）。

3. 权重的变化

通过反向传播计算损失函数的梯度，优化器（如 SGD）按学习率调整权重：

新权重 = 旧权重 - 学习率 × 梯度

4.实例代码（PyTorch 框架）

场景

场景：线性回归模型（y = 2x + 1 + 噪声）

python
import torch
import torch.nn as nn
import torch.optim as optim

# 1. 定义模型
class LinearModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.linear = nn.Linear(1, 1)  # 输入1维，输出1维
        
    def forward(self, x):
        return self.linear(x)

model = LinearModel()

# 2. 生成数据
x_train = torch.rand(100, 1) * 10          # 100个输入样本
y_train = 2 * x_train + 1 + torch.randn(x_train.shape)  # 真实值 + 噪声

# 3. 设置损失函数和优化器
criterion = nn.MSELoss()                   # 均方误差损失
optimizer = optim.SGD(model.parameters(), lr=0.01)  # 学习率0.01

# 4. 打印初始权重
print("初始权重：", model.linear.weight.data.item())
print("初始偏置：", model.linear.bias.data.item())

# 5. 训练模型
epochs = 100
for epoch in range(epochs):
    # 前向传播
    outputs = model(x_train)
    loss = criterion(outputs, y_train)
    
    # 反向传播
    optimizer.zero_grad()  # 清空梯度
    loss.backward()        # 计算梯度
    optimizer.step()       # 更新权重
    
    # 每20次打印损失
    if (epoch+1) % 20 == 0:
        print(f'Epoch [{
     epoch+1}/{
     epochs}], Loss: {
     loss.item():.4f}')