【论文简介】Circle Loss: A Unified Perspective of Pair Similarity Optimization

Circle Loss: A Unified Perspective of Pair Similarity Optimization

旷世cvpr2020的一篇文章，站在更高的视角，统一了deep feature learning的两大基础loss：基于class-level label的loss（如softmax + cross entropy）和基于pair-wise label的loss（如triplet loss），指出了这二者没有本质差异，都是在最小化类间相似度（记为Sn），最大化类内相似度（记为Sp）。

文章认为这两大基础loss，都可以归纳为一种unified loss的特殊形式：

这种loss形式试图最小化（Sn-Sp），这看似很合理，但其实存在如下问题：

 1. Lack of flexibility for optimization：我们的目标是使Sn接近0，Sp接近1。注意Sn-Sp传给Sn和Sp的梯度是严格相等的，当Sn已经接近0但Sp并没有很接近1的时候，传给Sn的梯度理应很小才对，可是它却会因为另一方的“不给力”而仍然收到一个很大的梯度。反之亦然。