Unsupervised Person Re-identification by Soft Multilabel Learning 阅读笔记

这篇是CVPR2019已经录用的少数几篇re-ID方向的论文，来自中山大学和腾讯实验室，代码也已经放出来了(https://github.com/KovenYu/MAR)
想法是引入辅助数据集来挖掘无标签的样本潜在的标签信息，有效地提升了无监督re-ID的效果.

1.文章解决了什么问题，提出了怎样的解决方法

1）在无监督的re-ID中，因为缺少跨摄像头的成对的标签图片，因此我们很难学习到 discriminative information.

解决问题1：文章提出了基于无监督re-ID的soft multilabel learning(软多标签学习)，主要思想是通过比较unlabeled person和一组参考数据集中的person，从而为每一个无标签的人学习一个soft multilabel.

soft multilabel的概念

2) Soft Multilabel Learning怎样挖掘无标签的re-ID数据集中的潜在标签信息？

解决问题2：提出multilabel reference learning(MAR)，包括soft multilabel-guided hard negative mining, cross-view consistent soft multilabel learning, reference agent learning相互协作来挖掘隐藏的标签信息。

soft multilabel-guided hard negative mining

文章使用soft multilabel 来区分视觉上相似但实则不同的人。因为soft multilabel本质上代表了样本的comparative characteristics，所以它不仅仅是从视觉上来表达一个人。实际上，一个人的一对样本图片应当不仅在视觉上相似，且应与参考样本有相似的relative comparative characteristics. 如果一个图片对仅仅在视觉上相似而在对比特征上不相似，那么它可能是个负样本对。

soft multilabel-guided hard negative mining

cross-view consistent soft multilabel learning

re-ID中，大部分图片对都是跨视域的，即两个人的图片是由不同摄像头拍摄的，因此提出cross-view consistent soft multilabel learning来学习能在跨摄像头的情况下仍然保持良好的soft multilabel.

reference agent learning

因为要大量地比较目标数据集与辅助数据集的样本，文章提出了reference agent.

2.怎么实现Soft Multilabel Learning?

主要包括三个部分：

• soft multilabel-guided hard negative mining
• cross-view consistent soft multilabel learning

• reference agent learning
  它们的协作如图.

  
  
  MAR framework

设定

目标数据集样本

辅助数据集样本

我们的目标是学习一个soft multilabel function l(x,z)和feature embedding f(x)

reference agent

soft multilabel-guided hard negative mining

Soft multilabel function

Soft multilabel function

Assumption 1
文章在这里提出一个假设：若一对无标签行人图片拥有高特征相似度，那么，称之为similar pair(相似对),若一个相似对拥有高度相似的对比特征，那么它可能是一个正样本，否则可能为负样本。

assumption1

文章提出soft multilabel agreement来度量样本对之间的对比特征相似度：

soft multilabel agreement

定义mining ratio为p,similar pair为pM

随即可得出soft Multilabel-guided Discriminative embedding Learning

MDL

cross-view consistent soft multilabel learning

motivation:从数据分布的角度来说，对于参考样本和目标样本，对比特征的分布应该只取决于人的外观在目标域的分布而独立于其摄像头。

因此提出了Cross-view consistent soft Multilabel Learning loss:

CML

reference agent learning

Agent Learning loss

AL

Deep soft multilabel reference learning

MAR

3.效果如何

• 对比实验
  
  Comparison with sota
• Ablation study(消融学习)
  证明两点

• 1 soft multilabel guidance的有效性
• 2 CML和RAL对MAR的不可缺失

ablation study

视觉效果

Visual result

改变refernce person的数量会影响实验结果

改变refernce person的数量会影响实验结果

改变lambda带来的变化

改变lambda带来的变化