论文阅读笔记《SimpleShot: Revisiting Nearest-Neighbor Classification for Few-Shot Learning》

小样本学习&元学习经典论文整理||持续更新

核心思想

  本文提出一种基于最近邻方法的小样本学习算法（SimpleShot），作者指出目前大量的小样本学习算法都采用了元学习的方案，而作者却发现使用简单的特征提取器+最近邻分类器的方法就能实现非常优异的小样本分类效果。本文首先用特征提取网络$f_{\theta }$+线性分类器在一个基础数据集上对网络进行训练，将训练得到的特征提取网络增加一个简单的特征变换（中心化和L2规范化），再加上一个最近邻分类器，直接对小样本数据集进行分类。
  中心化是指先计算整个基础数据集上特征向量的平均值，然后用小样本数据集的特征向量减去该均值，L2规范化是指图像的特征向量除以特征向量的L2范数。最近邻分类器中的距离度量函数采用欧氏距离。
  实验结果表明当特征提取网络结构比较简单时（如4-Conv），SimpleShot的性能略差于其他的元学习算法如PN，MN等，但随着网络结构变得更加复杂（如ResNet-18，WRN-28-10），特征提取网络的表征能力不断增强后，SimpleShot算法的性能与其他经过精心设计的元学习算法非常接近，甚至在一些数据集上已经超过其他采用元学习方案的算法。

创新点

• 采用简单的网络结构和训练模式，达到了同级别元学习算法相近甚至更优的性能
• 对特征向量进行简单的特征变换能够有效提高网络的性能

算法评价

  其实本文与这篇文章《A closer look at few-shot classification》的思路是相同的，他们都认为采用简单的特征提取+最近邻分类的方法就能很好的实现小样本学习任务，其性能并不弱于其他复杂的元学习算法。本文则更进一步发现使用相对复杂的网络结构+简单的特征变换，其分类性能甚至可以超过结构相同的其他元学习算法。这不禁让我们思考到底什么才是决定小样本分类性能的因素，那些精细的结构设计，训练策略，损失函数真的能起到根本作用吗？

如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。