对比学习小综述

对比学习的目标是将相似样本的表示（Representation）拉近，不相似样本的表示拉远。通过数据增强、损失函数、表示学习目标等步骤实现。

分类

（1）基于单视角的方法（Instance Discrimination）

典型代表：SimCLR, MoCo

特点：将每个样本视为一个独立类，无需额外的标注信息。

适用场景：数据无标注或弱标注的场景。

（2）基于聚类的方法（Clustering-Based Contrastive Learning）

典型代表：SwAV, DeepCluster

特点：引入聚类步骤，生成伪标签（Pseudo Labels）。

适用场景：适合多样性较大的无监督任务。

（3）监督对比学习（Supervised Contrastive Learning）

典型代表：Supervised Contrastive Learning (SupCon)

特点：利用标注信息，优化同类别样本之间的相似性。

适用场景：有标注数据、对类内一致性要求高的任务。

（4）基于负样本挖掘的方法（Hard Negative Mining）

典型代表：Hard Negative Mining in Metric Learning

特点：通过选择更难的负样本对提升模型的判别能力。

适用场景：需要高效区分细粒度特征的任务。