Learning to Balance Specificity and Invariance for In and Out of Domain Generalization 阅读笔记

Motivation

• 许多DG方法专注于学习在所有源域中持续存在的表征，并假设这些与域无关的表征将具有良好的泛化能力。但个别领域往往包含独特的特征，当利用这些特征时，可以提升领域内的识别性能。
• 利用"invariance"和"specifity"之间的平衡，可能有助于模型做出更好的预测。“invariance”：跨域共享的特征，通过多个域产生，共同学习的一些知识；“specificity”：个别领域的特征，产生于域的内部，不受其它域影响，主要抓取数据的内在语义信息。
• 学习分解表征的目标是能够将学习到的特征分解成多个变化因素，每个因素代表一个有语义的概念。将特征分解为特定领域和独立领域的因素，作者通过masking操作来挖掘特定领域和领域不变的因素。
  

Method

作者的目标是学习表征，以捕捉特定领域成分（对特定领域的预测性能有用）和领域不变成分（对判别任务一般有用）的平衡。以这种方式捕捉多个源分布中包含的信息，使作者能够在测试时观察到的实例与其中一个源相对相似的情况下，通过自动更多地依赖特定源域的特征来做出更好的预测。

公式1：为了激励领域的特殊性，作者引入了一个额外的soft-overlap损失，来确保与每个源分布相关的掩码重叠最小。为了量化重叠，作者计算了源域掩码对之间的Jaccard相似度系数（也被称为IoU分数）。然而，由于IoU是不可微分的，因此不可能直接用梯度下降法进行优化。作者对某一层L的每一对源域掩码$m^{d_i},m^{d_j}$最小化损失。在训练过程中，sIoU确保使用不同的子网络（由特定领域的二进制掩码识别）对来自不同源域的实例进行预测。

公式2：保证对判别任务的良好性能以及源域掩码之间的最小重叠。

Conclusion

• 作者鼓励掩码学习领域不变的和特定领域的特征的平衡，使得模型在保留域不变特征的普遍使用性的同时，又能够对显著特征进行预测。
• 作者提出DMG：特定领域的泛化掩码，可以在领域不变的特征和特定领域的特征之间取得平衡，产生一个能够同时在多个不同领域取得强大性能的单一模型，通过学习能够平衡多个领域的特殊性和不变性的模型，从而提高域内和域外泛化性能。
• 作者把这个平衡特征选择的问题看作是在一个共享的深度卷积网络（CNN）的特征上学习特定分布的二进制掩码的问题。
• 作者通过在神经元上引入特定领域的掩码来学习这种平衡，并优化这种掩码，以尽量减少跨领域的特征重叠。