图像标准化、图像白化、色彩变换

图像标准化(Normalization) [1]

        式(1.1)是图像标准化的一般公式，标准化主要是用来加速模型收敛，一般使用的是z-score标准化。μ和σ可以实现数据分布的中心化和缩放成标准正态分布，γ和β是通过网络来学习的参数，可以实现缩放和移动。不同的Normalization方法一般是μ和σ统计量的选取方式不同。

        Instance Normalization是计算一张图像上的一个通道所包含像素的统计量，同一图像的不同通道有不同的μ和σ，经常用于图像风格迁移。

         Layer Normalization计算的是一张图像上所有像素的统计量，不同的图像有不同的μ和σ，经常用于RNN，在CNN上不如BN。

        Batch Normalization是计算一个batch中的同一个通道所包含的所有像素的统计量，同一batch的不同通道有不同的μ和σ，经常用于图像分类，batch size越小，BN的作用越小。

        Group Normalization是在LN的基础上，把channel分成多个group再做标准化，而Switchable Normalization就是对以上多种方式得到的μ和σ做加权得到μ和σ。

图像白化(Whitening)[2]

        由于图像中相邻像素之间具有很强的相关性，所以用于训练时输入是冗余的。白化是通过去相关decorrelate，降低数据之间的冗余性，会使算法的收敛性变好，也可以更好的泛化。经过白化后的数据，其协方差是单位矩阵，即各维度不相关，且每个维度的方差是1。有两种计算方法，PCA白化和ZCA白化。

        PCA白化，首先计算图像的协方差矩阵，将图像的协方差矩阵进行特征分解，得到特征向量构成的矩阵和特征值构成的矩阵，

        类似于PCA，得到式(1.6)，

        通过对每维上的数据除以该维特征得到的标准差进行标准化，对主成分轴上的数据进行缩放，使其方差为1，得到式(1.7)， 

         图 1中(a)是原始数据分布，(b)是通过式(1.6)得到的数据分布，(c)是通过式(1.7)得到的数据分布。

图 1 PCA白化

        ZCA白化是在PCA白化基础上将PCA白化后的数据旋转回原来的特征空间，可以从图中看出差别。

 图 2 ZCA白化

        Batch Whitening是计算一个batch中不同通道之间的协方差矩阵，BW和BN主要应用于语义分割。

        Instance Whitening是计算一张图像上不同通道之间的协方差矩阵，IW和IN主要应用于图像多样化和图像风格迁移。

        Group Instance Whitening是在IW的基础上，把channel分成多个group再做标准化，而Switchable Whitening就是对以上多种方式得到的μ做加权得到新的μ。

色彩变换(Coloring)[3]

        Coloring Transform是白化变换的逆变换，将Y的原始数据分布变成你想要的的数据分布，这里的协方差矩阵是由你想要的数据分布计算得到的。

        图 3中(a)是原始数据分布，(b)是通过式(1.13)得到的数据分布，(c)是通过式(1.14)得到的数据分布。

 图 3 coloring变换

参考文献

1. Luo P, Ren J, Peng Z, et al. Differentiable learning-to-normalize via switchable normalization[J]. arXiv preprint arXiv:1806.10779, 2018.
2. Pan X, Zhan X, Shi J, et al. Switchable whitening for deep representation learning[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019: 1863-1871.
3. Hossain M. Whitening and Coloring Transformations for Multivariate Gaussian Data[J]. A slecture partly based on the ECE662 Spring, 2014.