GAN与WGAN

GAN

生成对抗网络(GAN, Generative Adversarial Networks)是2014年由Goodfellow提出的模型。在GAN中，有两个网络进行对抗训练，一个是判别网络，目标是判断一个样本是真实数据还是由生成网络生成的数据，一个是生成网络，目标是生成判别网络无法区分的样本。这两个网络交替训练，到最后如果判别网络再也无法区分样本的来源，那么也就等价于生成网络可以生成符合数据真实分布的样本。

判别网络

判别网络$D(\mathbf{x};\varphi )$是一个二分类的分类器，目标是区分一个样本$\mathbf{x}$是来自于真实分布$p_r(\mathbf{x})$还是模型生成分布$p_{\theta }(\mathbf{x})$。用标签$y=1$表示样本来自真实分布，标签$y=0$表示样本来自模型生成分布，判别网络的输出是$\mathbf{x}$属于真实分布的概率 。
$$\begin{array}{rl}p(y=1|\mathbf{x})& =D(\mathbf{x};\varphi )\\ p(y=0|\mathbf{x})& =1-D(\mathbf{x};\varphi )\end{array}\text{\hspace{1em}(1)}$$
那么判别网络的目标函数就是最小化交叉熵
$$\underset{\varphi }{\min }-({\mathbb{E}}_{\mathbf{x}}\left[y\log p(y=1|\mathbf{x})+(1-y)p(y=0|\mathbf{x})\right])\text{\hspace{1em}(2)}$$
若分布$p(\mathbf{x})$由$p_r(\mathbf{x})$和$p_{\theta }(\mathbf{x})$等比例混合而成，即$p(\mathbf{x})=\frac{1}{2}(p_r(\mathbf{x})+p_{\theta }(\mathbf{x}))$，则上式等价于
$$\begin{array}{rl}& \underset{\varphi }{\max }{\mathbb{E}}_{\mathbf{x}\sim p_r(\mathbf{x})}\left[\log D(\mathbf{x};\varphi )]+{\mathbb{E}}_{\mathbf{x}\sim p_{\theta }(\mathbf{x})}[\log (1-D(\mathbf{x};\varphi ))\right]\\ =& \underset{\varphi }{\max }{\mathbb{E}}_{\mathbf{x}\sim p_r(\mathbf{x})}\left[\log D(\mathbf{x};\varphi )]+{\mathbb{E}}_{\mathbf{z}\sim p(\mathbf{z})}[\log (1-D(G(\mathbf{z};\theta );\varphi ))\right]\end{array}\text{\hspace{1em}(3)}$$
$G(\mathbf{z};\theta )$是生成网络，$\mathbf{z}$是一个低维向量，$p(\mathbf{z})$是它服从的分布，通常是标准正态分布

生成网络

生成网络的目标是生成判别网络无法区分的样本，即让判别网络将自己生成的样本判别为真实样本
$$\begin{array}{rl}& \underset{\theta }{\max }{\mathbb{E}}_{\mathbf{z}\sim p(\mathbf{z})}\left[\log (D(G(\mathbf{z};\theta );\varphi ))\right]\\ =& \underset{\theta }{\min }{\mathbb{E}}_{\mathbf{z}\sim p(\mathbf{z})}\left[\log (1-D(G(\mathbf{z};\theta );\varphi ))\right]\end{array}\text{\hspace{1em}(4)}$$
这两个目标函数是等价的，但一般使用前者

训练

GAN的两个网络的优化目标相反，因此很难训练，需要平衡两个网络的能力。判别网络不能太强，否则生成网络会出现梯度消失，也不能太弱，否则生成网络无法提升能力。通常每次迭代时，判别网络更新$K$次，生成网络更新一次，$K$是一个超参数。

GAN存在的问题

将判别网络和生成网络合并为一个整体，这个模型仅用来分析，通常实际中不会使用
$$\begin{array}{rl}& \underset{\theta }{\min }\underset{\varphi }{\max }({\mathbb{E}}_{\mathbf{x}\sim p_r(\mathbf{x})}\left[\log D(\mathbf{x};\varphi )]+{\mathbb{E}}_{\mathbf{x}\sim p_{\theta }(\mathbf{x})}[\log (1-D(\mathbf{x};\varphi ))\right])\\ =& \underset{\theta }{\min }\underset{\varphi }{\max }({\mathbb{E}}_{\mathbf{x}\sim p_r(\mathbf{x})}\left[\log D(\mathbf{x};\varphi )]+{\mathbb{E}}_{\mathbf{z}\sim p(\mathbf{z})}[\log (1-D(G(\mathbf{z};\theta );\varphi ))\right])\end{array}\text{\hspace{1em}(5)}$$
当$p_r(\mathbf{x})$和$p_{\theta }(\mathbf{x})$已知时，上式的积分项
$$p_r(\mathbf{x})\log D(\mathbf{x};\varphi )+p_{\theta }(\mathbf{x})\log (1-D(\mathbf{x};\varphi ))\text{\hspace{1em}(6)}$$
在
$$D(\mathbf{x};\varphi )=\frac{p_r(\mathbf{x})}{p_r(\mathbf{x})+p_{\theta }(\mathbf{x})}\text{\hspace{1em}(7)}$$
取得最大值，这也就是最优判别器，将其代入$(5)$式得
$$\begin{array}{rl}\mathcal{L}(G|D^{\star })& ={\mathbb{E}}_{\mathbf{x}\sim p_r(\mathbf{x})}\left[\log D^{\star }(\mathbf{x})]+{\mathbb{E}}_{\mathbf{x}\sim p_{\theta }(\mathbf{x})}[\log (1-D^{\star }(\mathbf{x}))\right]\\ & ={\mathbb{E}}_{\mathbf{x}\sim p_r(\mathbf{x})}\left[\log \frac{p_r(\mathbf{x})}{p_r(\mathbf{x})+p_{\theta }(\mathbf{x})}\right]+{\mathbb{E}}_{\mathbf{x}\sim p_{\theta }(\mathbf{x})}\left[\log (\frac{p_{\theta }(\mathbf{x})}{p_r(\mathbf{x})+p_{\theta }(\mathbf{x})})\right]\\ & =\text{KL}(p_r,p_a)+\text{KL}(p_{\theta },p_a)-2\log 2\\ & =2\text{JS}(p_r,p_{\theta })-2\log 2\end{array}\text{\hspace{1em}(8)}$$
其中$\text{JS(.)}$为$\text{JS}$散度，$p_a(\mathbf{x})=\frac{1}{2}(p_r(\mathbf{x})+p_{\theta }(\mathbf{x}))$为一个平均分布。

当判别网络最优时，生成网络的目标是最小化真实分布与生成分布之间的$\text{JS}$散度。当两个分布相同时，$\text{JS}$散度为$0$，最优生成器对应的损失为$-2\log 2$。

训练稳定性

当两个分布没有重叠时，$\text{JS}$散度等于常数$\log 2$
$$\begin{array}{rl}2\text{JS}(p_r,p_{\theta })& =\int p_r(\mathbf{x})\log \frac{2p_r(\mathbf{x})}{p_r(\mathbf{x})+p_{\theta }(\mathbf{x})}d\mathbf{x}+\int p_{\theta }(\mathbf{x})\log \frac{2p_{\theta }(\mathbf{x})}{p_r(\mathbf{x})+p_{\theta }(\mathbf{x})}d\mathbf{x}\\ & ={\int }_{p_r(\mathbf{x})\ne 0,p_{\theta }(\mathbf{x})=0}{p}_r(\mathbf{x})\log \frac{2p_r(\mathbf{x})}{p_r(\mathbf{x})+p_{\theta }(\mathbf{x})}d\mathbf{x}+{\int }_{p_{\theta }(\mathbf{x})\ne 0,p_r(\mathbf{x})=0}{p}_{\theta }(\mathbf{x})\log \frac{2p_{\theta }(\mathbf{x})}{p_r(\mathbf{x})+p_{\theta }(\mathbf{x})}d\mathbf{x}\\ & ={\int }_{p_r(\mathbf{x})\ne 0,p_{\theta }(\mathbf{x})=0}{p}_r(\mathbf{x})\log 2d\mathbf{x}+{\int }_{p_{\theta }(\mathbf{x})\ne 0,p_r(\mathbf{x})=0}{p}_{\theta }(\mathbf{x})\log 2d\mathbf{x}\\ & =2\log 2\end{array}\text{\hspace{1em}(9)}$$
对生成网络来说，目标函数关于参数的梯度为0，因此生成网络出现梯度消失。因此，在实际训练生成对抗网络时，一般不会将判别网络训练到最优，使得生成网络的梯度依然存在，但是判别网络也不能太差，否则生成网络的梯度为错误的梯度。但是如果在两者之间权衡并不容易，因此GAN训练稳定性较差。

模型坍塌

如果使用公式$(3)$中的前者作为生成网络的目标函数，将最优判别器$D^{\star }$代入，并结合公式$(8)$可得
$$\begin{array}{rl}{\mathcal{L}}^{\prime }(G|D^{\star })& ={\mathbb{E}}_{\mathbf{x}\sim p_{\theta }(\mathbf{x})}\left[\log D^{\star }(\mathbf{x})\right]\\ & ={\mathbb{E}}_{\mathbf{x}\sim p_{\theta }(\mathbf{x})}\left[\log \frac{p_r(\mathbf{x})}{p_r(\mathbf{x})+p_{\theta }(\mathbf{x})}\cdot \frac{p_{\theta }(\mathbf{x})}{p_{\theta }(\mathbf{x})}\right]\\ & =-{\mathbb{E}}_{\mathbf{x}\sim p_{\theta }(\mathbf{x})}\left[\log \frac{p_{\theta }(\mathbf{x})}{p_r(\mathbf{x})}\right]+{\mathbb{E}}_{\mathbf{x}\sim p_{\theta }(\mathbf{x})}\left[\log \frac{p_{\theta }(\mathbf{x})}{p_r(\mathbf{x})+p_{\theta }(\mathbf{x})}\right]\\ & =-\text{KL}(p_{\theta },p_r)+2\text{JS}(p_r,p_{\theta })-2\log 2-{\mathbb{E}}_{\mathbf{x}\sim p_r(\mathbf{x})}\left[\log D^{\star }(\mathbf{x})\right]\end{array}\text{\hspace{1em}(10)}$$
忽略后两项，可以写作
$$\underset{\theta }{\mathrm{argmax}}{\mathcal{L}}^{\prime }(G|D^{\star })=\underset{\theta }{\mathrm{argmin}}\text{KL}(p_{\theta },p_r)-2\text{JS}(p_r,p_{\theta })\text{\hspace{1em}(11)}$$
$\text{JS}$散度有界，因此生成网络的目标更多的是受$\text{KL}(p_{\theta },p_r)$的影响。

前向和逆向$\text{KL}$散度：$\text{KL}$散度非对称，在计算真实分布$p_r$和模型生成分布$p_{\theta }$之间的$\text{KL}$散度时就会有两种：前向$\text{KL}$散度$\text{KL}(p_r,p_{\theta })$和逆向$\text{KL}$散度$\text{KL}(p_{\theta },p_r)$，分别定义为
$$\begin{gathered} \text{KL}(p_r,p_{\theta })=\int p_r(\mathbf{x})\log \frac{p_r(\mathbf{x})}{p_{\theta }(\mathbf{x})}d\mathbf{x} \\ \text{KL}(p_{\theta },p_r)=\int p_{\theta }(\mathbf{x})\log \frac{p_{\theta }(\mathbf{x})}{p_r(\mathbf{x})}d\mathbf{x} \\ \text{\hspace{1em}(12)} \end{gathered}$$
在前向$\text{KL}$散度中，

• 当$p_r(\mathbf{x})\to 0$而$p_{\theta }(\mathbf{x})>0$时，$p_r(\mathbf{x})\log \frac{p_r(\mathbf{x})}{p_{\theta }(\mathbf{x})}\to 0$，前向$\text{KL}$散度变为0
• 当$p_{\theta }(\mathbf{x})\to 0$而$p_r(\mathbf{x})>0$是，$p_r(\mathbf{x})\log \frac{p_r(\mathbf{x})}{p_{\theta }(\mathbf{x})}\to \infty$，前向$\text{KL}$散度变得非常大

因此前向$\text{KL}$散度会让$p_{\theta }(\mathbf{x})$尽量覆盖$p_r(\mathbf{x})$，生成的样本更具有多样性。

在逆向$\text{KL}$散度中

• 当$p_r(\mathbf{x})\to 0$而$p_{\theta }(\mathbf{x})>0$时，$p_{\theta }(\mathbf{x})\log \frac{p_{\theta }(\mathbf{x})}{p_r(\mathbf{x})}\to \infty$，逆向$\text{KL}$散度变得非常大
• 当$p_{\theta }(\mathbf{x})\to 0$而$p_r(\mathbf{x})>0$时，$p_{\theta }(\mathbf{x})\log \frac{p_{\theta }(\mathbf{x})}{p_r(\mathbf{x})}\to 0$，逆向$\text{KL}$散度变为0

因此逆向$\text{KL}$散度会让$p_{\theta }(\mathbf{x})$尽量避开$p_r(\mathbf{x})\approx 0$的点，即倾向于生成更安全的样本。

生成网络中使用的是逆向$\text{KL}$散度，倾向于生成更安全的样本，也就是所谓的模型坍塌问题。

改进方法：WGAN

$\text{Wasserstein}$距离

WGAN通过$\text{Wasserstein}$距离替代$\text{JS}$散度。$\text{Wasserstein}$距离也用于衡量两个分布之间的距离，对于两个分布$q_1$和$q_2$，$p^{th}$-$\text{Wasserstein}$定义为
$$W_p(q_1,q_2)={\left(\underset{\gamma (x,y)\in \Gamma (q_1,q_2)}{\inf }{\mathbb{E}}_{(x,y)\sim \gamma (x,y)}\left[d(x,y{)}^p\right]\right)}^{\frac{1}{p}}\text{\hspace{1em}(13)}$$
$\Gamma (q_1,q_2)$为边缘分布为$q_1$和$q_2$的所有可能的联合分布集合，$d(x,y)$是$x$和$y$的距离，如$l_p$距离。当两个分布没有重叠或重叠非常少时，$\text{JS}$散度和$\text{KL}$散度均不能再反映两个分布之间的距离，但$\text{Wasserstein}$距离仍然可以。

对于真实分布$p_r$和模型分布$p_{\theta }$，$\text{1st}$-$\text{Wasserstein}$距离定义为
$$W_1(p_r,p_{\theta })=\underset{\gamma (\mathbf{x},\mathbf{y})\in \Gamma (p_r,p_{\theta })}{\inf }{\mathbb{E}}_{(\mathbf{x},\mathbf{y})\sim \gamma (\mathbf{x},\mathbf{y})}\left[||\mathbf{x}-\mathbf{y}||\right]\text{\hspace{1em}(14)}$$
显然这是很难计算的，但$\text{1st}$-$\text{Wasserstein}$距离有一个对偶形式
$$W_1(p_r,p_{\theta })=\underset{||f|{|}_L\le 1}{\sup }\left({\mathbb{E}}_{\mathbf{x}\sim p_r(\mathbf{x})}\left[f(\mathbf{x})\right]-{\mathbb{E}}_{\mathbf{x}\sim p_{\theta }(\mathbf{x})}\left[f(\mathbf{x})\right]\right)\text{\hspace{1em}(15)}$$
其中$f$：${\mathbb{R}}^d\to \mathbb{R}$为$1$-$\text{Lipschitz}$连续函数，对任意$\mathbf{x}\ne \mathbf{y}$满足
$$\frac{|f(\mathbf{x})-f(\mathbf{y})|}{|\mathbf{x}-\mathbf{y}|}\le 1\text{\hspace{1em}(16)}$$
根据公式$(15)$，两个分布$p_r$和$p_{\theta }$之间的$\text{1st}$-$\text{Wasserstein}$距离可以转换为一个满足$1$-$\text{Lipschitz}$连续的函数在分布$p_r$和$p_{\theta }$下期望差的上界，通常$1$-$\text{Lipschitz}$连续可以宽松为$\text{K}$-$\text{Lipschitz}$连续，则$\text{1st}$-$\text{Wasserstein}$距离为
$$W_1(p_r,p_{\theta })=\frac{1}{K}\underset{||f|{|}_L\le K}{\sup }\left({\mathbb{E}}_{\mathbf{x}\sim p_r(\mathbf{x})}\left[f(\mathbf{x})\right]-{\mathbb{E}}_{\mathbf{x}\sim p_{\theta }(\mathbf{x})}\left[f(\mathbf{x})\right]\right)\text{\hspace{1em}(17)}$$

评价网络

当然公式$(17)$也不好算，根据神经网络的通用近似定理，可以假设存在一个神经网络可以达到这个上界，令$f(\mathbf{x};\varphi )$为一个神经网络，假设存在参数集合$\Phi$，对所有$\varphi \in \Phi$，$f(\mathbf{x};\varphi )$满足$\text{K}$-$\text{Lipschitz}$连续，那公式$(17)$可以转换为
$$\underset{\varphi \in \Phi }{\max }\left({\mathbb{E}}_{\mathbf{x}\sim p_r(\mathbf{x})}\left[f(\mathbf{x};\varphi )\right]-{\mathbb{E}}_{\mathbf{x}\sim p_{\theta }(\mathbf{x})}\left[f(\mathbf{x};\varphi )\right]\right)\text{\hspace{1em}(18)}$$
$f(\mathbf{x};\varphi )$称为评价网络，评价网络的最后一层为线性层，其输出不再是GAN中判别网络的$[0,1]$，值域没有限制。那么只需要找到一个网络使公式$(18)$的值尽可能大，即$f(\mathbf{x};\varphi )$对真实样本打分尽量高，对模型生成样本打分尽量低，

为使$f(\mathbf{x};\varphi )$满足$\text{K}$-$\text{Lipschitz}$连续，一种近似的方法是限制参数的取值范围，因为神经网络连续可导，满足$\text{K}$-$\text{Lipschitz}$连续可以近似为其关于$\mathbf{x}$的偏导数的模$||\frac{\partial f(\mathbf{x};\varphi )}{\partial \mathbf{x}}||$小于某个上界，由于偏导数大小一般和参数的取值范围相关，可以通过限制$\varphi$的取值范围来近似，令$\varphi \in \left[-c,c\right]$，$c$是一个较小的正数。

生成网络

此时生成网络的目标就是使评价网络对生成样本的打分尽可能高
$$\underset{\theta }{\max }{\mathbb{E}}_{\mathbf{z}\sim p(\mathbf{z})}\left[f(G(\mathbf{x};\theta );\varphi )\right]\text{\hspace{1em}(19)}$$
因为$f(\mathbf{x};\varphi )$是不饱和函数，所以生成网络的梯度不会消失，从而解决了GAN训练不稳定的问题，并且目标函数不再含有$\text{KL}$散度，在一定程度上缓解了模型坍塌的问题。

开源代码

https://github.com/tjwei/GANotebooks