A Reinforcement Learning Framework for Natural Question Generation using Bi-discriminators论文阅读

这个工作着眼于Visual Question Generation (VQG)这个多模态问题，同样使用当下热门的GAN来处理，它最大的创新之处在于构建了双判别器（bi-discriminator）结构。

问题背景

上面讲到，这个工作聚焦的任务是Visual Question Generation，即根据图片产生问题。但这个任务有一个重要的特征，那就是要让所问的问题得以使双方的对话进行下去。相比之下，另一个同样是根据图片产生问题的任务Visual Question Answering (VQA)则只注重提出那些有客观答案的问题。两者对比的例子如下：

简单地说，VQA侧重于提出仅针对图片内容本身的描述性问题，而VQG则会产生自然的联想，问出更符合人们日常交流特点的问题。

于是，作者抽象出VQG所提问题的两个重要属性：natural和human-written，分别从问题的内容和通顺性两个方面进行了约束。

Bi-discriminator结构

作者提出Bi-discriminator结构的目的就是用两个判别器分别对上述两个属性进行判别。整体的GAN框架如图：

简单说一下我对这一框架的理解：

1. Generated指的是G生成的问题，Natural和Descriptive都属于人类生成的，不过后者是描述性的问题，在VQG任务中也被归类为负样本。

2. 对“问题是否为人类生成的”进行判别，对“问题是否足够自然”进行判别。注意是dynamic，因为它和一般的Discriminator一样，是与Generator一同博弈进行训练的；而是static，是针对已有的Natural/Descriptive数据进行训练的二分类器，在GAN训练的过程中始终是固定的，所以把这个分类器也命名为Discriminator其实多少有点蹭Bi-discriminator噱头的意味。至于这其中具体的网络结构，论文中并没有披露太多，我已经联系了本文的作者索要代码，期待他的回复。

3. Generator部分就基本套用了GAN处理NLP问题的模式：采用Monte Carlo Rollout和Policy Gradient方法利用来自Discriminator的reward更新参数。有意思的是，这里Generator采用的是Img2Seq模型，即在Seq2Seq的基础上把输入改成了图像的CNN特征。

4. 另外，我认为上述的框架图有几个缺陷：该GAN应该同时也是一个Conditional GAN，当前的图像也应作为Discriminator的输入，这一点在图上没有体现出来；一般而言，Generator的输入还应当包括一个噪声变量，这在图上同样没有示意。

实验

实验方面，作者设置了几个baseline：

由于目前没有直接的方法来评估一个问题是否足够“自然”，作者只好针对NLP常用的几种relevance scores（衡量生成样本与ground-truth样本重合度的指标）都进行了自动化测试：

这个测试结果有几个值得注意的地方：

1. GAN框架（或）的效果明显比单纯用MLE进行训练的Img2Seq模型要好，同时，Bi-discriminator结构（）的确显示出一定的优越性。

2. MIXER (Mixed Incremental Cross-Entropy Reinforce)是一个强化学习模型，MIXER-BLEU-4表示模型以BLEU-4作为直接的优化目标，因此，它的BLEU-4指标最高令人毫不意外，然而它在所有指标中的综合表现并不如，侧面说明了GAN更具备良好的灵活性和鲁棒性。

最后，这个工作请了真人来评估这些baseline的表现，对各模型生成的样本以及ground-truth样本依据自然的程度进行打分，分数范围是{1, 2, 3}，评估结果如下：

这个结果基本和上述自动化测试的结果类似，而有一点值得关注，那就是机器生成的样本与ground-truth样本还存在着非常明显的差距。