批标准化(Batch Normalization, BN)

批标准化(Batch Normalization, BN)

  我们知道在深层神经网络训练时，会产生梯度消失问题，梯度消失的一个主要来源就是激活函数，以sigmoid函数为例，自变量在0附近导数较大，自变量越大或者越小都会造成导数缩小，如果数据分布在过小或者过大区域，过小的导数就很可能产生梯度消失问题(为何梯度消失要看激活函数的导数，这涉及到反向传播推导，可以看我的另一篇blog)。在比如，如果我们的数据大量分布在远离0的点，例如20和200，差了10倍，但是经过sigmoid激活后，输出值十分接近(我用torch.sigmoid()函数计算，结果全是1. ，可见差距是非常的小)，这种过强的非线性，就很难体现出数据的差异性。为了解决这些问题，批标准化就被提出。
  批标准化的基本思路是把数据拉扯到0附近，让数据满足均值为0，方差为1的正态分布，说到这里，一些人可能会想到某些方法，例如Z-Score标准化，其实批标准化就和Z-Score标准化很像，只不过我们不仅仅对输入做标准化，我们还在每一隐层的输入激活函数前，也加一层标准化。批标准化一般表示成$y=B{N}_{\gamma ,\beta }(x)$。$B{N}_{\gamma ,\beta }(\cdot )$由下面四个操作构成：

  上图来自论文Batch normalization: accelerating deep network training by reducing internal covariate shift，我先解释一下输入，假设目前我们想要进行批标准化的是隐层$l$，该隐层输入的size是(B,N)，其中B是batch size，N是当前隐层$l$需要进行批标准化的神经元的个数，如果B=3，N=5，那么当前隐层输入的值，可以表示成下面的式子$$\left[\begin{array}{cccccc}[x_{11}& x_{12}& x_{13}& x_{14}& x_{15}& ]\\ [x_{21}& x_{22}& x_{23}& x_{24}& x_{25}& ]\\ [x_{31}& x_{32}& x_{33}& x_{34}& x_{35}& ]\end{array}\right]$$

在Algoritm.1算法中，batch中的一个$x_i$就是$[x_{i1},x_{i2},x_{i3},x_{i4},x_{i5}]$，得到的${\mu }_B,{\sigma }_B^2,{\hat{x}}_i,y_i$全是五维的，所以上面的公式其实是向量运算。对于全连接层的批标准化，其实是考虑单个神经元的值为一个集体，这一集体有batch size个元素，在这一集体进行上面的四步操作，神经元间是独立的，同一隐层每个神经元各求得一个${\mu }_B,{\sigma }_B^2$。也就是说，$x_{11},x_{21},x_{31}$求一个均值，方差；$x_{12},x_{22},x_{33}$求一个均值，方差……

  至于为何会存在$\gamma ,\beta$，是因为我们不想让数据经过批标准化后真的落在0附近，以sigmoid为例，0附近接近线性，而我们的神经网络需要依靠激活函数提供分线性，所以会加一个回退操作，这就是$\gamma ,\beta$的所用，$\gamma ,\beta$可以通过反向传播算法进行学习，$\gamma ,\beta$在上面例子中也是五维的。

推断过程

  我们知道训练数据时一般会用mini-batch，但是训练后作用于验证集或测试集时，只会一次带入一条数据，没有均值和方差，我们如何对单条数据进行批标准化呢？针对这种情况，我们利用训练集中的均值和方差，下图是论文中的原图，1-6步是训练过程，7-12步是推断过程，

从图中我们可以看出来，推断过程中，我们利用训练集的所有batch的均值${\mu }_B$，方差${\sigma }_B^2$，来通过公式$$\begin{gathered} E[x]\leftarrow E_B[{\mu }_B] \\ Var[x]\leftarrow \frac{m}{m-1}{E}_B[{\sigma }_B^2] \end{gathered}$$来计算在推断过程要用的均值$E[x]$和方差$Var[x]$，这里求$E_B[{\mu }_B]$与$E_B[{\sigma }_B^2]$是用的指数加权平均法，具体如何实现的论文中并没有说，论文中只说了利用moving averages，关于指数加权平均法可以看这篇blog。$\gamma$和$\beta$是在训练过程中已经优化的值，推断时直接拿来用就可以，推断过程的标准化如下

$$y=\gamma \frac{x-E[x]}{\sqrt{Var[x]+\epsilon }}+\beta =\gamma \frac{x}{\sqrt{Var[x]+\epsilon }}+(\beta -\gamma \frac{E[x]}{\sqrt{Var[x]+\epsilon }})$$

反向传播过程

  这里参考了知乎中的推导过程。

  我在之前的blog中，推导DNN和CNN的反向传播时候，都是推导的batch中的一条数据的反向传播，由于一个batch的损失函数可以表示成$$L=\frac{1}{m}\sum _{i=1}^{m}J(f(x_i),y_i)$$

其中$f(\cdot )$是整个神经网络抽象出来的函数，$x_i$是batch中的第$i$个记录，$y_i$是第$i$个记录的真实标签；考虑到DNN和CNN中batch中的不同记录是独立前向传播的，所以在推导公式时，可以先反向传递batch中的一条数据，最后得到的权值和偏置的偏导数求平均即可$$\begin{gathered} \frac{\partial L}{\partial w}=\frac{1}{m}\sum _{i=1}^m\frac{\partial J(f(x_i),y_i)}{\partial w} \\ \frac{\partial L}{\partial b}=\frac{1}{m}\sum _{i=1}^m\frac{\partial J(f(x_i),y_i)}{\partial b} \end{gathered}$$

但是在含有批标准化的网络中，存在求batch的均值和方差的步骤，batch的数据在前向传播中不在独立，所以推导时利用整个batch的损失$L$推导，不在利用单个数据的损失$J$推导。

  批标准化，相当于在激活函数层前面加了一个BN层，该BN层完成$y=B{N}_{\gamma ,\beta }(x)$的批标准化的操作，该BN层又可以分成两个子层，Algorithm.1中的前三个公式在第一个子层执行，第四个公式在第二个子层操作。假设我们在第$l$层加入了BN，其示意结构如下：

反向传播过程需要用到多元复合函数的链式求导法则，

假设我们已经反向传播到$y$所在隐层，即我们已经知道了$\frac{\partial L}{\partial y_i},i=1,2\dots m$，$i$表示batch中的第$i$个数据，则我们可以得到损失函数对$\gamma$和$\beta$的偏导数如下：
$$\begin{gathered} \frac{\partial L}{\partial \gamma }=\sum _i^m\frac{\partial L}{\partial y_i}\frac{\partial y_i}{\partial \gamma }=\sum _i^m\frac{\partial L}{\partial y_i}{\hat{x}}_i \\ \frac{\partial L}{\partial \beta }=\sum _i^m\frac{\partial L}{\partial y_i}\frac{\partial y_i}{\partial \beta }=\sum _i^m\frac{\partial L}{\partial y_i} \end{gathered}$$

这样我们就用$\frac{\partial L}{\partial y_i}$求出损失函数对$\gamma$和$\beta$的偏导数。下面考虑把$\frac{\partial L}{\partial y_i}$进一步反向传播，即把误差由上图的$y$所在隐层，传播到${\hat{x}}_i$所在隐层：
$$\frac{\partial L}{\partial {\hat{x}}_i}=\frac{\partial L}{\partial y_i}\frac{\partial y_i}{\partial {\hat{x}}_i}=\frac{\partial L}{\partial y_i}\gamma$$

进一步把损失传播到$x$所在隐层，这是BN最复杂的推导：
$$\frac{\partial L}{\partial x_i}=\frac{\partial L}{\partial {\hat{x}}_i}\frac{\partial {\hat{x}}_i}{\partial x_i}+\frac{\partial L}{\partial {\sigma }_B^2}\frac{\partial {\sigma }_B^2}{\partial x_i}+\frac{\partial L}{\partial {\mu }_B}\frac{\partial {\mu }_B}{\partial x_i}$$

这里把$L$看成关于${\hat{x}}_i,{\sigma }_B^2,{\mu }_B$的多元复合函数(${\hat{x}}_i$好理解，为何也把${\sigma }_B^2,{\mu }_B$当做$L$的自变量有疑问，在我看来${\sigma }_B^2,{\mu }_B$是包含在${\hat{x}}_i$中，应该用相乘的链式法则向下写)，目前我们只知道$\frac{\partial L}{\partial {\hat{x}}_i}$，下面求另外五个偏导数
$$\frac{\partial {\hat{x}}_i}{\partial x_i}=\frac{1}{\sqrt{{\sigma }_B^2+ϵ}}$$

$$\frac{\partial L}{\partial {\sigma }_B^2}=\sum _{k=1}^m\frac{\partial L}{\partial {\hat{x}}_k}\frac{\partial {\hat{x}}_k}{\partial {\sigma }_B^2}=\sum _{k=1}^m\frac{\partial L}{\partial {\hat{x}}_k}(x_k-{\mu }_B)(-\frac{1}{2})({\sigma }_B^2+ϵ{)}^{-\frac{3}{2}}$$

$$\frac{\partial {\sigma }_B^2}{\partial x_i}=\frac{2(x_i-{\mu }_m)}{m}$$

$$\frac{\partial L}{\partial {\mu }_B}=\sum _{k=1}^m\frac{\partial L}{\partial {\hat{x}}_k}\frac{\partial {\hat{x}}_k}{\partial {\mu }_B}+\frac{\partial L}{\partial {\sigma }_B^2}\frac{\partial {\sigma }_B^2}{\partial {\mu }_B}=\sum _{k=1}^m\frac{\partial L}{\partial {\hat{x}}_k}(-\frac{1}{\sqrt{{\sigma }_B^2+ϵ}})+\frac{\partial L}{\partial {\sigma }_B^2}\sum _{k=1}^m\frac{-2(x_k-{\mu }_B)}{m}$$

$$\frac{\partial {\mu }_B}{\partial x_i}=\frac{1}{m}$$
总结反向传播的公式如下：

CNN中的批标准化

  传统的CNN由卷积层、池化层和全连接层构成，对于全连接层的批标准化同上，池化层不需要批标准化操作，因此主要有区别的地方就是卷积层的批标准化。关于卷积层的批标准化下面是我引用论文中的原话：

For convolutional layers, we additionally want the normalization to obey the convolutional property – so that different elements of the same feature map, at different locations, are normalized in the same way. To achieve this, we jointly normalize all the activations in a minibatch, over all locations. In Alg. 1, we let B be the set of all values in a feature map across both the elements of a mini-batch and spatial locations – so for a mini-batch of size m and feature maps of size p × q, we use the effective mini-batch of size m′ = |B| = m · p q. We learn a pair of parameters γ(k) and β(k) per feature map, rather than per activation. Alg. 2 is modified similarly, so that during inference the BN transform applies the same linear transformation to each activation in a given feature map.

  大体意思就是，在全连接中，一个神经元为一个单位，计算一个均值方差，然后标准化该神经元的值。在卷积层中，我们以一个feature map为一个单位，计算一个均值方差，相当于把batch size从原来的m扩展到m · p · q，其中pq是feature map的尺寸，如果feature map有第三维度，尺寸是d，batch size就是m · p · q · d，然后根据得到均值方差，标准化这个feature map的所有元素值。

  综上所述，批标准化，真的是对batch进行的标准化，这和近些年用的越来越少的LRN(Local Response Normalization，局部响应标准化)不一样，LRN并不对batch维度进行标准化，LRN对临近通道的数据进行标准化，具体可以看blog。

---

参考：
《Batch normalization: accelerating deep network training by reducing internal covariate shift》
https://www.cnblogs.com/guoyaohua/p/8724433.html
https://www.cnblogs.com/34fj/p/8805979.html
指数加权平均：https://www.jianshu.com/p/41218cb5e099?utm_source=oschina-app
批标准化推导：https://zhuanlan.zhihu.com/p/26138673
莫凡视频教程(有比较详细的动画)：https://v.youku.com/v_show/id_XMTg1MTYwNDg2OA==
在AlexNet中LRN 局部响应归一化的理解：https://blog.csdn.net/program_developer/article/details/79430119