各种Normalization的区别

https://blog.csdn.net/qq_21949357/article/details/82864477
https://blog.csdn.net/u014380165/article/details/79810040

---

其中两维C和N分别表示channel和batch size，第三维表示H,W，可以理解为该维度大小是H*W，也就是拉长成一维，这样总体就可以用三维图形来表示。

图片.png

Batch Normalization:

所有批次的相同通道划分为一个组。即第一张图片特征的第一个通道，第二张图片特征的第一个通道……Batch内所有图片特征的第一个通道扔在一起，算出均值和方差，然后每个都减去均值、除以方差；往后的通道亦然。

BN.png

---

Group Normalization:

它会规定多少个通道是一个组或者规定共有多少个组，如图所示，就是每张图片，1-3通道放在一起正则化，4-6通道放到一起正则化，依次类推。

图片.png

图片.png

---

Layer Normalization:

第一张图片所有通道的特征扔在一起，后面的图片亦然。

图片.png

---

Instance Normalization:

每张图片的的每个通道单独计算。

图片.png