生成对抗网络Generative Adversarial Network,GAN

Basic Idea of GAN

  • Generation(生成器)

   Generation是一个neural network,它的输入是一个vector,它的输出是一个更高维的vector,以图片生成为例,输出就是一张图片,其中每个维度的值代表生成图片的某种特征。

生成对抗网络Generative Adversarial Network,GAN_第1张图片

生成对抗网络Generative Adversarial Network,GAN_第2张图片

  • Discriminator(判别器)

   Discriminator也是一个neural network,它的输入是一张图片,输出是一个scalar,scalar的数值越大说明这张图片越像真实的图片。

生成对抗网络Generative Adversarial Network,GAN_第3张图片

  • Generation和Discriminator两者的关系

举了鸟和蝴蝶例子说明Generation和Discriminator之间的关系是相互对抗,相互提高。然后提出两个问题:

  1. Generator为什么不自己学,还需要Discriminator来指导。
  2. Discriminator为什么不自己直接做。

Algorithm(算法说明)

首先要随机初始化generator 、discriminator的参数;

然后在每一个training iteration要做两件事:

(1)固定generator的参数,然后只训练discriminator。

将generator生成的图片与从database sample出来的图片放入discriminator中训练,如果是generator生成的图片就给低分,从database sample出来的图片就给高分。

生成对抗网络Generative Adversarial Network,GAN_第4张图片

(2)固定discriminator的参数,然后只训练generator。

把generator生成的图片当做discriminator的输入,训练目标是让输出越大越好。

生成对抗网络Generative Adversarial Network,GAN_第5张图片

具体算法如下:

训练D(固定G):

  1. 首先从database中抽取m个样本。
  2. 从一个分布中抽取m个vector z。
  3. 将z输入generator,生成m张图片x
  4. 计算损失,最大化损失。

训练G(固定D):

  1. 随机产生m个噪声,通过generator得到图片G(z);
  2. 然后经过discriminator得到D(G(z)),更改G中的参数,使得它的得分越高越好。
  3. 生成对抗网络Generative Adversarial Network,GAN_第6张图片

GAN as structured learning

结构化学习的输入和输出多种多样,可以是序列(sequence)到序列,序列到矩阵(matrix),矩阵到图(graph),图到树(tree)等。例如,机器翻译、语音识别、聊天机器人、文本转图像等。GAN也是结构化学习的一种。

  • Structured Learning面临的挑战
  1. One-shot/Zero-shot Learning:比如在分类任务中,有些类别没有数据或者有很少的数据。
  2. 机器需要创造新的东西。如果把每个可能的输出都视为一个“class”,由于输出空间很大,大多数“class”都没有训练数据,也,这就导致了机器必须在testing时创造新的东西。
  3. 机器需要有规划的概念,要有大局观。因为输出组件具有依赖性,所以应全局考虑它们。
  • Structured Learning Approach

传统的structured learning主要有两种做法:Bottom up 和 Top down。

Bottom up:机器逐个产生object的component。

Top down:从整体来评价产生的component的好坏。

Generator可以视为是一个Bottom Up的方法,discriminator可以视为是一个Top Down的方法,把这两个方法结合起来就是GAN。

生成对抗网络Generative Adversarial Network,GAN_第7张图片

Can Generator learn by itself

可以用监督学习的方法来对generator进行训练,但是还会存在一个问题:表示图片的code从哪里来。如果随机产生,训练起来可能非常困难。因为如果两种图片很像,它们输入vector差异很大的话,就很难去训练。

生成对抗网络Generative Adversarial Network,GAN_第8张图片

可以通过训练一个encoder,得到相应的code。但是存在的问题就是:Vector a 输出结果是向左的1,vector b 输出结果是向右的1。若把a、b平均作为输入,则输出不一定是数字,可以使用VAE来解决这个问题。

生成对抗网络Generative Adversarial Network,GAN_第9张图片

  • VAE (Variational Auto-Encoder,变分编码器)

VAE不仅产生一个code还会产生每一个维度的方差;然后将方差和正态分布中抽取的噪声进行相乘,之后加上code上去,就相当于加上noise的code。

生成对抗网络Generative Adversarial Network,GAN_第10张图片

  • VAE的缺陷

在生成图片时,不是单纯的让生成结果与真实结果越接近越好,还要保证整幅图片符合现实规律。

生成对抗网络Generative Adversarial Network,GAN_第11张图片

假设Layer L-1的值是给定的,则Layer L每一个dimension的输出都是独立的,无法相互影响。因此只有在L后面在加几个隐藏层,才可以调整第L层的神经元输出。也就是说,VAE要想获得GAN的效果,它的网络要比GAN要深才行。

生成对抗网络Generative Adversarial Network,GAN_第12张图片

下图中绿色是目标,蓝色是VAE学习的结果。VAE在做一些离散的目标效果不好。

生成对抗网络Generative Adversarial Network,GAN_第13张图片

Can Discriminator generate

Discriminator就是给定一个输入,输出一个分数。对discriminator来说,要考虑component和component之间的联系就比较容易。比如有一个滤波器,它会去检索有没有独立的像素点,有的话就是低分。

生成对抗网络Generative Adversarial Network,GAN_第14张图片

假如有一个discriminator,它能够鉴别图片的好坏,就可以用这个discriminator去生成图片。穷举所有的输入x,比较discriminator给出的分数,找到分数最高的就是discriminator的生成结果。

  • 训练discriminator
  1. 首先给定一些正样本,随机产生一些负样本。
  2. 在每一个iteration里面,训练出discriminator能够鉴别正负样本。
  3. 然后用训练出来的discriminator生成图片当做负样本。
  4. 开始迭代。

生成对抗网络Generative Adversarial Network,GAN_第15张图片

从可视化和概率的角度来看一下整个过程。蓝色的是discriminator生成图片的分布,绿色的是真实图片分布。训练discriminator给绿色的高分,蓝色的低分。然后寻找discriminator除了真实图片之外,得分最大高的地方把它变成负样反复迭代,最终正样本和负样本就会重合在一起。

生成对抗网络Generative Adversarial Network,GAN_第16张图片

  • Generator v.s. Discriminator

generator:很容易生成图片,但是它不考虑component之间的联系。只学到了目标的表象,没有学到精神。

Discriminator:能够考虑大局,但是很难生成图片。

  • Generator + Discriminator

Generator就是取代了这个argmax的过程。GAN的优点如下:

从discriminator来看,利用generator去生成样本,去求解argmax问题,更加有效。

从generator来看,虽然在生成图片过程中的像素之间依然没有联系,但是它的图片好坏是由有大局观的discriminator来判断的。从而能够学到有大局观的generator。

你可能感兴趣的:(李宏毅机器学习,生成对抗网络,人工智能,神经网络,VAE,GAN)