归一化相关

归一化方式

Batch Normalization

在每一层的输入进行归一化处理，使其在每个批次内具有零均值和单位方差。通过标准化减少了内部协方差偏移，从而加速训练。
在测试时，所使用的均值和方差是整个训练集的均值和方差。整个训练集的均值和方差的值通常是在训练的同时用 移动平均法 来计算的。

Layer Normalization

与批量归一化不同，层归一化是在每个样本的所有特征（所有通道一起）上进行归一化，而不是在整个批次的维度上。每个样本都独立处理，适用于序列模型（如 RNN 和 Transformer）。

Instance Normalization

对每个输入样本单独进行归一化，适用于每个个体都是独立的且每个通道都有自己的含义的时候

Group Normalization

将特征划分为多个组，对每个组进行归一化处理。它在批量大小较小或动态输入情况下表现更好。

RMSNorm（Root Mean Square Layer Normalization）:

作为LayerNorm的替代方案，旨在简化归一化过程，降低计算复杂度，同时保持或提升模型的性能。

RMSNorm 和 LayerNorm区别？