论文阅读：Metropolis-Hastings 生成对抗网络 Metropolis-Hastings Generative Adversarial Networks

本文提出了新的生成器优化方式，将鉴别器中的知识合并到改进的生成器中。

点击查看原文

我们介绍了 Metropolis-Hastings 生成对抗网络（MH-GAN），它结合了马尔可夫链蒙特卡罗和 GAN 的各个方面。 MH-GAN 从 GAN 的判别器生成器对隐式定义的分布中抽取样本，而标准 GAN 从仅由生成器定义的分布中抽取样本。 它使用 GAN 训练中的判别器围绕生成器构建包装器以改进采样。 有了完美的鉴别器，即使生成器不完美，这种包装的生成器也可以准确地从数据的真实分布中进行采样。 我们使用 DCGAN、WGAN 和渐进式 GAN 在多个基准数据集（包括 CIFAR10 和 CelebA）上展示了改进生成器的优势。

1. Introduction

传统上，密度估计是通过可以计算数据可能性的模型来完成的。 生成对抗网络 (GAN)（Goodfellow 等人，2014）提出了一种全新的密度估计方法：它们通过区分真实数据和生成数据的分类器隐式表示数据的密度。

GAN 在更新鉴别器 D 和生成器 G 之间进行迭代，其中 G 生成新的（合成）数据样本，D 尝试将 G 的样本与真实数据区分开。 在典型的设置中，D 在训练结束时被丢弃，仅保留 G 来生成新的合成数据点。 在这项工作中，我们提出了 MetropolisHastings GAN (MH-GAN)，这是一种构建新生成器 G 的 GAN，该生成器 G’ 使用 D 中包含的信息“包装”G。这一原理如图 1 所示。

MH-GAN 使用马尔可夫链蒙特卡罗 (MCMC) 方法从为生成器 G 学习的判别器 D 隐式定义的分布中进行采样。这是建立在判别器在生成器 G 和数据分布之间进行分类的概念之上的：
$$D(x)=\frac{p_D(x)}{p_d(x)+p_G(x)}\text{\hspace{1em}(1)}$$
其中 $p_G$ 是来自生成器 $G$ 的样本密度（难以处理），$p_D$ 是判别器 $D$ 相对于 $G$ 隐含的数据密度。如果 GAN 训练达到其全局最优值，则该判别器分布 $p_D$ 等于数据分布 和生成器分布 ($p_D=p_{data}=p_G$) (Goodfellow et al., 2014)。 此外，如果判别器 $D$ 对于固定的不完美生成器 $G$ 是最优的，则隐含分布仍然等于数据分布 ($p_D=p_{data}\ne p_G$)。

我们使用 MCMC 独立采样器（Tierney，1994）通过从 $G$ 中获取多个样本来从 $p_D$ 中进行采样。令人惊讶的是，使用我们的算法，我们可以证明，给定一个完美的判别器 D 和一个不错的（但不完美的）生成器 G，我们可以获得 来自真实数据分布 $p_{data}$ 的精确样本。 标准 MCMC 实现需要目标 $p_D$ 和提议 $p_G$ 的（非标准化）密度，这对于 GAN 来说都是不可用的。 然而，MetropolisHastings (MH) 算法仅需要比率：
$$\frac{p_D(x)}{p_G(x)=\frac{D(x)}{1-D(x)}}\text{\hspace{1em}(2)}$$

我们可以仅使用 D(x) 的评估来获得。

从 MH-GAN 中进行采样比标准 GAN 的计算成本更高，但更大、更相关的训练计算成本保持不变。 因此，MH-GAN 最适合测试时样本质量比计算速度更重要的应用。

本文的大纲如下：第 2 节回顾了相关先前工作的各个领域。 在第 3.1 节和第 3.2 节中，我们解释了 MCMC 方法和 GAN 的必要背景。 我们在第 4 节中解释了将这两个看似不同的区域结合起来的方法，在第 4 节中我们导出了包裹的生成器 G0 。 第 5 节显示了真实数据（CIFAR-10 和 CelebA）以及扩展常见 GAN 模型（DCGAN、WGAN 和渐进式 GAN）的结果。第 6 节讨论了影响和结论。

4. Methods

在本节中，我们将展示如何从判别器 $D$ 隐含的分布 $p_D$ 中进行采样。我们将 (2) 和 (3) 应用于目标$p^{\ast }=p_D$ 和提案 $q=p_G$：

比率 $p_D/p_G$ 完全根据鉴别器分数 $D$ 计算。如果 $D$ 完美，则 $p_D=p_{data}$，因此采样器将从 $p_{data}$ 中少量采样。 算法 1 进一步说明了 (6) 的使用。

图 2 显示了一个具有完美鉴别器的玩具一维示例。在此示例中，MHGAN 能够从故障生成器的尾部正确重建生成分布中的缺失模式。

Conclusions

我们已经展示了如何将鉴别器 $D$ 中的知识合并到改进的生成器 $G^{\prime }$ 中。 我们的方法基于这样的前提：$D$ 在密度比估计方面比 $G$ 在采样数据方面更好，这可能是一项更困难的任务。 原则性的 MCMC 设置从 $G$ 中选择样本来纠正 $G$ 中的偏差。这是文献中唯一具有给定完美 $D$ 的属性的方法，可以恢复 $G$，使得 $p_G=p_{d}ata$。 我们已经证明 GAN 和 DRS 中的原始判别器校准不佳。 据我们所知，这是第一个以这种方式评估判别器并严格展示判别器校准不良的工作。 由于 MH-GAN 算法可用于包装任何其他 GAN，因此有无数可能的用例。