零样本图像识别 | Alleviating Feature Confusion for Generative Zero-shot Learning简单论文笔记

提出特征混淆问题，即在GZSL设置中零样本类别实例容易被划分为可见类（因为在训练生成器时使用的是可见类样本，这导致生成的未见类样本与可见类相似）

创新点：提出了一种边界损失函数，该损失函数最大程度地减少了已见类别和未见类别的决策边界。此外，提出了一种名为feature confusion score（FCS）的新度量标准，以量化特征混淆。

1）提出了一种新的生成方法，即通过利用生成对抗网络，对零镜头学习进行缓解特征混淆GAN（AFC-GAN）。与现有的基于GAN的方法相比，引入了边界损失，该损失会估计然后最大化可见和不可见特征的决策边界。换句话说，最大程度地减少了可见和不可见类别之间的特征混淆。

2）在AFC-GAN中引入了一种多模态的循环一致损失，以促进多样性并保持合成特征的语义一致性。与现有的基于GAN的方法相比，鼓励通过深度非线性映射将合成特征转换回原始语义嵌入。结果，可以进一步减轻模式崩溃问题和特征混淆问题。

3）由于生成零镜头学习是社区中的一个新话题，因此很少有研究注意到特征混淆问题。对此问题进行了说明，并设计了一个新的度量标准，称为特征混淆评分（FCS）以量化该现象，这有望使后续研究受益。

方法流程

AFC-GAN包含四个部分：1）首先部署条件式Wasserstein GAN（WGAN）[3]，以根据语义嵌入a∈{A，A为条件的随机噪声z〜N（0，1）合成虚拟特征。 Au}。 2）为了缓解特征混淆问题，引入了边界损失以最大化可见和不可见类别的决策边界。最大化边界损失等同于最小化特征混淆。 3）为了减轻模式崩溃的问题，通过鼓励将合成特征转换回相应的语义嵌入，进一步引入了多模式周期一致损失。值得注意的是，循环损失还可以通过将合成特征强制为其对应的类别来减轻特征混淆。 4）考虑到以上三个想法，提出了一种新颖的ZSL方法AFC-GAN，如图所示。