揭秘Transformer架构：残差流与隐藏层的关系

在Transformer架构的LLM中，“残差流”（residual stream）和“隐藏层”（hidden layers）

是密切相关但不同的概念，前者是层间流动的核心数据，后者是处理这些数据的结构单元。

1. 残差流（Residual Stream）：层间传递的“信息流”

残差流指的是在Transformer层之间传递的核心张量，它是模型中“流动”的数据载体。其本质是通过“残差连接”（residual connection）累积的特征表示，具体来说：

在每个Transformer层中，计算流程大致是：
输入残差流 → 层归一化 → 多头注意力 → 残差连接（加回输入） → 层归一化 → 前馈网络 → 残差连接（加回中间结果） → 输出新的残差流

这里的“残差连接”是关键：每一步处理（注意力/前馈网络）的结果会加上处理前的输入，形成“残差”，这个带残差的结果就是传递到下一层的“残差流”。

残差流的作用是：

• 缓解深层网络的梯度消失问题，让模型更容易训练；
• 作为模型的“记忆载体”，累积从输入到当前层的所有特征信息。

2. 隐藏层（Hidden Layers）：处理残差流的“结构单元”