生成对抗网络GAN（六）深入理解生成对抗网络（Generative Adversarial Networks，GAN）

生成对抗网络(Generative adversarial nets,GAN)是Goodfellow等人在2014年提出的一种生成式模型。

GAN是由一个生成器和一个判别器构成。生成器捕捉真实数据样本的潜在分布，并由潜在分布生成新的数据样本；判别器是一个二分类器，判别输入是真实数据还是生成的样本。

其优化过程类似于极小极大游戏，通过反向传播算法，最终目标可实现纳什均衡，即生成器完全获得真实数据样本的分布。

生成式对抗网络是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。原始 GAN 理论中，并不要求 G 和 D 都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实用中一般均使用深度神经网络作为 G 和 D 。一个优秀的GAN应用需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。--百度百科

根据The-gan-zoo数据显示，截至2018年9月GAN衍生模型已经到达502种。

接下来是台湾大学李弘毅老师关于GAN的PPT讲解：

两个概率分布，一个是真实的样本数据分布，另一个是生成模型的数据分布，通过极大似然估计求生成模型的参数，也就是说参数使生成模型的分布很像真实数据的分布。

利用极大似然估计方法，求生成模型概率分布与真实数据概率分布的相近程度L，我们希望L越大越好。

由此，我们定义生成模型G，G生成的数据分布与真实数据的分布的差距Div(x)越小越好。

定义一个判别模型D，近似生成的数据分布与真实数据的分布的差距Div(x)，我们想到JS散度可以度量两个分布之间的差距，故将D带入V(G,D)。

V(G,D)是关于D衡量两个分布的JS散度公式的变体，我们推断V(G,D)越大，D越好，也就是越能区分真假数据。具体而言，真实数据使D(x)=1，生成数据使D(x)=0。

那怎么使V(G,D)最大呢？通过给定G,x我们可以计算出来D。

将D带入V(G,D)，可以推出JS散度公式。

 我们知道，G生成的数据分布与真实数据的分布的差距MaxV(G,D)越小越好，下一步就是怎么更新G使MaxV(G,D)最小？

 

答案就是通过反向传播更新G的参数。

最后就是算法。

更新一次G的原因如下，G更新会导致V(G,D)更新，D=MaxV(G,D)会发生变化，如果还是使用固定的D来判别G会有误差。一次使用可以，多次使用不行。