论文阅读：《Explanation-Guided Training for Cross-Domain Few-Shot Classification》

最近都在忙比赛的事情 真拖了很久没有来更新我的论文阅读了……
一下子都五月底了 时间可太快了……

---

论文名称：
《Explanation-Guided Training for Cross-Domain Few-Shot Classification》
论文地址：https://arxiv.org/abs/2007.08790v2
本篇文章只记录个人阅读论文的笔记，具体翻译、代码等不展开，详细可见上述的链接.

Background

1.Cross-domain few-shot classification task (CD-FSC) combines few-shot classification with the requirement to generalize across domains represented by datasets. This setup faces challenges originating from the limited labeled data in each class and,additionally, from the domain shift between training and test sets
小样本跨域学习实际上是小样本学习和域适应（域迁移）的一个结合。
那么无论是对小样本学习或者传统的域适应来说，都存在挑战，不仅是样本数量有限还是训练集和测试集之前域差异的挑战。
2.Although a large number of explanation methods have contributed substantial progress to the field of explaining model predictions , they are usually applied in the testing phase, and frequently, do not consider the use cases of explanations. Some known use cases are the audit of predictions ,explanation-weighed document representations that are more comprehensive, and identification of biases in datasets.
虽然大量的解释方法在解释模型预测领域已经取得了实质性的进展，但它们通常应用于测试阶段，而且经常不考虑解释的用例。

Work

• We derive explanations for FSC models using LRP.
• We investigate the potential of improving model performance using explanations in the training phase under few shot settings.
• We propose an explanation-guided training strategy to tackle the domain shift problem in FSC.
• We conduct experiments to show that the explanation guided training strategy improves the model generalization for a number of FSC models and datasets.
• We combine our explanation-guided training strategy with another recent approach, LFT, which shares with our approach the property of being applicable on top of existing models, and observe a synergy of these two methods further improves the performance.
1.我们使用LRP对FSC模型的提供了解释。
2.我们研究了在小样本设置下使用训练阶段的解释来提高模型性能的潜力。
3.我们提出了一种解释指导的训练策略来解决FSC中的域移问题。
4.我们进行的实验表明，随解释的训练策略改进了一些FSC模型和数据集的模型泛化。我们将我们的解释指导训练策略与另一种最近的方法LFT相结合，它与我们的方法一样具有适用于现有模型之上的特性，并观察到这两种方法的协同作用进一步提高了性能。

Model

先简单总括一下方法：
we introduce a novel training approach for existing FSC models. It leverages on the explanation scores, obtained from existing explanation methods when applied to the predictions of FSC models, computed for intermediate feature maps of the models. Firstly, we tailor the layer-wise relevance propagation (LRP) method to explain the predictions of FSC models. Secondly, we develop a model-agnostic explanation-guided training strategy that dynamically finds and emphasizes the features which are important for the predictions。
方法的核心主要是利用了从现有的解释方法中获得的FSC模型的预测，为模型的中间特征图计算。
首先，我们定制了层相关性传播(LRP)方法来解释FSC模型的预测。其次，我们开发了一个模型不可知的解释指导的训练策略，动态地发现并强调对预测重要的特征。
补充一下：LPR（Layer-wise Relevance Propagation）是一种解释方法，通过预先训练的网络，将输出的相关性向后分配，并确定节点对分类的贡献。根据激活度和网络权值，通过在下一层传播相关性来获得每层的相关性。解释器给出了与输入图像具有相同维数的像素级热图，从而可视化了输入图像中对所选类别有贡献的重要区域

如上图所示，热力图由使用不同的目标标签生成。
红色像素表示LRP相关性分数为正，蓝色表示为负。颜色的强度对应于LRP相关性分数的值。
如第一行（Q1），可以看出LRP热力图突出了非洲猎狗的腿，
当我们解释Q2：，LRP则热力图强调了类似圆形轮廓。

网络结构

网络结构如上图所示，蓝色路径表示传统的小样本域适应训练。红色的路径即为解释方法LRP，是在沿着蓝色路径后一步添加的。
首先，将支持样本S和查询样本Q输入图像编码器CNN，以获取特征fs和fq，并由特征处理模块进一步处理。将特征处理的输出fp输入到一个分类器中以进行预测。
注意，特征处理模块和分类器模块在不同的FSC方法中都有所不同。
解释块解释了模型预测p，并生成了对fp的解释，表示为R(fp)，用于计算LRP权重wlrp。
将lrp加权特征wlrpfp输入分类器，得到更新的预测plrp。
具体分为四个步骤
Step1: One forward-pass through the model and obtain the prediction p
如网络模型所示，从蓝色路径获得传统的小样本训练的预测P
Step2: Explaining the classifier. We initialize the LRP relevance for each label and apply LRP to explain the classifier.We can obtain the relevance of the classifier input R(fp)
初始化每个标签的LRP相关性，并应用LRP来解释分类器。
we refer to the logit function in to initialize the relevance scores.Taking the cosine similarity as an example, we first calculatethe probability for each class using the exponential function via equation (1).

我们引用对数函数来初始化相关性分数。以余弦相似度为例，首先通过上述方程即利用指数函数计算每类的概率
c类的相关性分数定义为：

根据每个目标标签Rc的相关性评分，标准LRP适用于通过分类器反向传播Rc以生成解释。
我们依赖于两个已建立的LRP反向传播机制

Step3: LRP-weighted features. To emphasize the features which are more relevant to the prediction and downscale the less relevant ones, we define the LRP weights and the LRP weighted features as
LRP加权特征

Step4: Finally, we forward the LRP-weighted features to the classifier to generate the explanation-guided predictions plrp.最后，我们将LRP加权特征转发到分类器，以生成解释引导的预测plrp

Experiments

---

ENDing~
下周决赛顺顺利利！！冲冲冲！！
六月见啦！