Batch Normalization 批标准化及其相关数学原理和推导

数据经过一层层网络之后，输出的数据分布会发生变化，此现象称为Internal Covariate Shift，会给下一层的网络学习带来困难：

1. 整个网络的学习速度较慢；
2. 数据的分布容易陷入激活函数（如sigmoid，tanh）的梯度饱和区，减慢了网络的收敛速度。

直接对每一层做归一化是不合理的

如果将每一层的输出都归一化为标准正态分布，均值为0，方差为1，会导致网络完全学习不到输入数据的特征，因为所有的特征都被归一化了。

底层网络学习到的参数信息被丢掉了，降低了网络的数据表达能力。

Batch Normalization的步骤 ¹

1. 求出整个batch数据的均值：
   $${\mu }_b=\frac{1}{m}\sum _{i=1}^m{x}_i$$

2. 求出整个batch数据的方差：
   $${\sigma }_b^2=\frac{1}{m}\sum _{i=1}^m(x_i-{\mu }_b{)}^2$$

3. 将数据归一化为标准正态分布：
   $${\hat{x}}_i=\frac{x_i-{\mu }_b}{\sqrt{{\sigma }_b^2+\epsilon }}$$
   其中的$\epsilon$是为了防止方差为0。

4. 引入平移和缩放参数，得到最终的归一化结果：
   $$y_i=\gamma {\hat{x}}_i+\beta$$

测试阶段使用Unbiased variance estimate ² 来进行总体方差的无偏估计

Question: Is the estimate of the population variance that arises in this way using the sample mean always smaller than what we would get if we used the population mean?
Answer: yes except when the sample mean happens to be the same as the population mean.

We are seeking the sum of squares of distances from the population mean, but end up calculating the sum of squares of differences from the sample mean, which, as will be seen, is the number that minimizes that sum of squares of distances. So unless the sample happens to have the same mean as the population, this estimate will always underestimate the sum of squared differences from the population mean.

证明过程如下：

设样本的平均值是${\mu }_s$，设总体的平均值是$\mu$，则
$${\mu }_s=\frac{1}{m}\sum _{i=1}^m{x}_i\text{\hspace{1em}(1)}$$

令$a_i=x_i-{\mu }_s$，$b={\mu }_s-\mu$，则
$$(x_i-\mu {)}^2=|(x_i-{\mu }_s)+({\mu }_s-\mu ){|}^2=|a_i+b{|}^2=a_i^2+2a_{i}b+b^2\text{\hspace{1em}(2)}$$
将样本中的所有元素都用式(2)进行转换，得到：
$$\begin{array}{rl}\sum _{i=1}^m(x_i-\mu {)}^2& =\sum _{i=1}^m{a}_i^2+\sum _{i=1}^m{b}^2+2\sum _{i=1}^m{a}_{i}b\\ & =\sum _{i=1}^m{a}_i^2+\sum _{i=1}^m{b}^2+2b\sum _{i=1}^m{a}_i\\ & =\sum _{i=1}^m{a}_i^2+\sum _{i=1}^m{b}^2\\ & =\sum _{i=1}^m(x_i-{\mu }_s{)}^2+\sum _{i=1}^m{b}^2\\ & \ge \sum _{i=1}^m(x_i-{\mu }_s{)}^2\end{array}\text{\hspace{1em}(3)}$$
化简式(3)用到了下式：
$$\sum _{i=1}^m{a}_i=\sum _{i=1}^m(x_i-{\mu }_s)=\sum _{i=1}^m{x}_i-m{\mu }_s=0$$

由式(3)可知，总体的实际方差总是大于（或等于）使用样本均值估计得到的总体方差，并且只有当样本均值与总体均值正好相等时，等号才成立，对总体方差的估计才是准确的。

使用Bessel’s correction方法对总体方差进行校正

样本均值如式(1)所示。

样本方差：
$${\sigma }_s^2=\frac{1}{m}\sum _{i=1}^m(x_i-{\mu }_s{)}^2=\frac{{\sum }_{i=1}^m{x}_i^2}{m}-\frac{{\left({\sum }_{i=1}^m{x}_i\right)}^2}{m^2}$$

上式其实就是方差公式：$D(x)=E(x^2)-(E(x){)}^2$

校正后的总体方差，使用$m-1$替换公式中的$m$，得到：
$${\sigma }^2=\frac{1}{m-1}\sum _{i=1}^m(x_i-{\mu }_s{)}^2=\frac{{\sum }_{i=1}^m{x}_i^2}{m-1}-\frac{{\left({\sum }_{i=1}^m{x}_i\right)}^2}{m(m-1)}=\frac{m}{m-1}{\sigma }_s^2$$

扩展阅读：

为什么样本方差（sample variance）的分母是 n-1？ - 张英锋的回答 - 知乎
https://www.zhihu.com/question/20099757/answer/658048814

Batch Normalization的优点

1. BN使得网络中每层输入数据的分布变得相对稳定，可以加快网络的学习速度；
   BN在一定程度上可以把靠近梯度饱和区的数据分布，往中心的线性区拉一点，增大梯度。

2. BN可以简化调参过程，使得网络更加稳定；
   BN可以抑制参数的微小变化随着网络层数加深而被放大的问题，增强网络对参数取值的适应能力。

3. BN使得网络可以使用sigmoid和tanh等激活函数，缓解梯度消失问题；

4. BN有一定的正则化效果。

   • 计算均值和方差时，只利用了当前mini-batch的样本，这向BN后的$z^l$增加了噪声，与dropout类似
   • BN的正则化效果很弱，并且随着mini-batch的增大，而减小

补充说明

前向传播过程：
$$z^l=w^l{a}^{l-1}+b^l$$

施加Batch Norm之后，需要对$z^l$求均值和方差。在求均值的过程中，参数$b^l$被抵消掉了。因此，在实际的网络结构中，可以不使用参数$b^l$，前向传播过程变为：
$$z^l=w^l{a}^{l-1}$$

随后再进行Batch Norm。

参考文献

---

1. Ioffe, S. and Szegedy, C., 2015. Batch normalization: Accelerating deep network training by reducing internal covariate shift. arXiv preprint arXiv:1502.03167. ↩︎

2. https://en.wikipedia.org/wiki/Bessel's_correction#Proof_of_correctness_-_Alternate_3 ↩︎