【论文阅读】Decoupled Knowledge Distillation

摘要：最先进的蒸馏方法主要基于从中间层蒸馏出深层特征，而 logit 蒸馏的重要性则被大大忽视了。为了提供研究 logit 蒸馏的新观点，我们将经典的 KD 损失重新表述为两部分，即目标类知识蒸馏 （TCKD） 和非目标类知识蒸馏 （NCKD）。我们实证调查并证明了两部分的效果：TCKD 传递了有关训练样本“困难”的知识，而 NCKD 是 logit 蒸馏起作用的突出原因。更重要的是，我们揭示了经典的 KD 损失是一个耦合公式，它 （1） 抑制了 NCKD 的有效性，并且 （2） 限制了平衡这两个部分的灵活性。为了解决这些问题，我们提出了解耦知识蒸馏 （DKD），使 TCKD 和 NCKD 能够更高效、更灵活地发挥作用。与基于复杂特征的方法相比，我们的 DKD 在 CIFAR-100、ImageNet 和 MS-COCO 数据集上取得了相当甚至更好的结果，并且在图像分类和目标检测任务上具有更好的训练效率。本文证明了 logit 蒸馏的巨大潜力，希望对未来的研究有所帮助。

参考链接

论文
代码
Decoupled Knowledge Distillation论文阅读+代码解析