2020-07-15 CVPR2020 表示学习论文讨论（4） 笔记

[1] Multi-Scale Fusion Subspace Clustering Using Similarity Constraint

• baseline (NIPS2017)：亲和矩阵 -> 谱聚类。已有方法的亲和矩阵是计算得到（如余弦相似度、核方法），baseline中是学出来的（pre-train自编码器 + fine-tune，学习自表达矩阵）。
• motivation：baseline只用到了deep encoder的深层信息，忽略了浅层信息。
• method：使用自编码器的每一层学得一个自表达矩阵，再将它们融合。

[2] Non-Local Neural Networks with Grouped Bilinear Attentional Transforms

• baseline (CVPR2018 Non-Local Neural Networks)：baseline中提出了一种block，用于捕获长范围依赖关系（扩大感受野）。
• motivation：baseline的复杂度是$N^2$
• 作者提出：block应具有足够强的建模能力，并能够即插即用端到端。
• contribution1：减少了参数量和复杂度
• contribution2：通过bilinear达到了强大的建模能力。

[3] Neural Networks Are More Productive Teachers Than Human Raters

• oral
• motivation：减少query teacher model的次数（通过active learning解决）。
• method：共分为三步，①. 构造侯选池；②. 选择不确定性最大的侯选池子集；③. 对黑盒的teacher model进行query。

[4] Search to Distill Pearls are Everywhere but not the Eyes

• oral
• motivation：对于每个student model，都应该存在与其对应的最好的teacher model architecture。
• method：使用neural network search解决。

[5] iTAML An Incremental Task-Agnostic Meta-learning Approach

• task：Incremental Learning，在不同的任务上进行增量学习。
• task challenge：塑料性（不能“喜新厌旧”，学会了新任务，忘了老任务）、稳定性（学不会新任务）。
• motivation：不同task上，用同一个model进行学习是很困难的。
• method：提出一个通用的模型，快速适用于多个任务。本质是，对不同的task用不同的model。
• challenge of this paper：①. task challenge ；②. 不指定task时，meta learning不好训练；③. 现有方法都是用固定的内存（显存），本文方法不可以。
  

[6] Learning to Segment the Tail

• 出自南洋理工张含望老师组
• task：长尾分布
• motivation：解决长尾分布。已有方法分为两类：采样 or 加权
• 长尾分布带来两个问题：①. 类别不平衡；②. few shot问题（尾部数据比较少）。
• method：divide & conquer（分割、逐渐占领）。按频率从高到低对类别进行划分，先使用频率最高的第一部分进行训练，再使用第二部分进行finetune，finetune的过程在第一部分进行采样，使第一部分和第二部分平衡，以此类推。
• 本质：增量学习。
• GAN的模式崩塌：生成器没有很好的约束，只会去拟合最容易拟合的部分，造成生成的结果都差不多。

总结

• [1][2] 两篇文章都是基于baseline进行改进，都是用老方法解决老问题。
• [3][4] 两篇文章都是对于Teacher-Student模型进行优化，听下来的感觉，两篇文章都是提出了领域中的一个新问题，没有其他学者研究过，文章的novelty属于最高层次，这应该是中oral的原因。
• [5][6] 两篇都是poster，两篇文章都是在已有问题探索了新方法，达到了更好的效果，novelty属于第二层次。
• novelty的层次划分：①. 最高层次：发现新问题；②. 第二层次：已有问题发现新解法；③. 第三层次：新的insight，有better understanding；④.最低层次：better results。
• 从目前我的理解来看，文章的novelty达到最高层次，基本就是顶会的oral。novelty达到第二层次，文章能够发表在顶会的poster。第三、第四两个层次都是前两个层次的辅助，如果文章的novelty只能达到后两个层次，很难中顶会顶刊。