【论文笔记】：Prime Sample Attention in Object Detection

&Title

• Prime Sample Attention in Object Detection
• 代码

&Summary

在目标检测中的一个普遍认知就是应该平等的对待每个sample和目标。这篇文章研究了不同的样本对于最终结果的影响。作者认为在每个minibatch中的样本既不是独立的也不是同样重要的，所以一个平均的结果并不能意味着是一个更高的mAP。作者提出了Prime Sample的概念并且提出了PISA的方法，主要挂住这些样本的训练过程，实验证明关注prime sample而不是haed sample对于训练来说更加有效。在MSCOCO数据集上，PISA表现的比random sampling和hard mining 超过了1个百分点。

Contributions

• 我们的研究使人们对什么样本对于训练对象检测器很重要有了新的认识，从而确立了prime样本的概念。 （样本采样的一种 new insight）
• 我们设计了层次局部排名（HLR）来对样本的重要性进行排名，并在此之上基于重要性进行加权。 （使用排序来定义prime sample）
• 我们引入了一种称为分类感知回归损失的新损失，该损失可以同时优化分类分支和回归分支，从而进一步增强了对prime样本的关注。（联合分类和回归loss来加强对prime sample的attention）

&Research Objective

• 不同的样本对于最终结果的影响
• Sample不应该是独立的或者是相同重要的
• 分类和定位是相关联的
• 目的是找到一种更有效的采样/加权区域方法。

&Problem Statement

• 每个小批量中的样品既不是独立的，也不是同等重要的，因此，平均而言，更好的分类不一定以为着更高的mAP。作者提出了Prime Sample的概念并且提出了PISA的结果，主要关注那些样本的训练过程。
• 现在的目标检测办法主要用的是region-based方法。ui那次region sample的选择对于检测结果来说是很重要的。然而很多的sample位于图像的背景区域，因此简单的选择所有sample或者随意选择一些事一种不合理的办法。
• 有一些研究表明主要关注一些困难的sample是一个比较有效的办法。

代表的有OHEM和Focal Loss。OHEM主要选择haed sample比如说有着高的loss值。Focal Loss是给loss function换了一种形式来强调difficult samples。

&Method(s)

使用 IoU Hierarchal Local Rank（IoU-HLR）来采样正样本，使用Score Hierarchical Local Rank（Score-HLR）来采样负样本

IoU-HLR

具体步骤如下：

• 将每个候选正样本按照离最近的gt 分组，如丧图所示分为两组
• 在每个组里按照与gt的IOU的大小从大到小排序
• 最后抽取每个组里的Top1出来再排序放在最终的rank前面，然后抽出每个组里的Top2出来排序再之前的Top1的后面，直到所有样本放在最后的rank里，具体过程如图上箭头所描述

Score-HLR

这主要是对负样本进行重要性排序。
但是，对于负样本不像正样本那样有个gt 不能分组，那怎么办呢？

• 首先使用NMS来做一个聚类，这样就可以将负样本进行分组了
• 然后和IoU-HLR一样根据负样本的Score来排序

这里在我看来，根据Scor排序后的结果其实跟Hard negative sample是差不多的。排在前面的样本一般都是那种hard sample。

PISA

PISA由两个部分组成：

• 基于重要性的样本重加权（ISR）
• 分类感知回归损失（CARL）。

使用所提出的方法，除了均匀地对待所有样本外，训练过程还偏重于prime样本。 首先，prime样本的损失权重比其他样本大，因此分类器在这些样本上往往更准确。 其次，以共同目标学习分类器和回归器，因此相对于不重要的样本，正prime样本的分数得到提高。

Importance-based Sample Reweighting

为了进行较少的修改并适合现有框架，我们提出了一种名为基于重要性的样本重加权（ISR）的软抽样策略，该策略根据重要性为样本分配不同的损失权重。

ISR由正样本重加权和负样本重加权组成，分别表示为ISR-P和ISR-N。 对于阳性样本，我们采用IoU-HLR作为重要性度量；对于阴性样本，我们采用Score-HLR。 给定重要性度量，剩下的问题是如何将重要性映射到适当的损失权重。

• 我们首先使用线性映射将等级转换为实值
  根据其定义，HLR在每个类别（N个前景类别和1个背景类别）中分别计算。 对于类j，假设总共有nj个样本，且HLR {r1，r2，…。 。 。 ，rnj}，其中0≤ri≤nj-1，我们使用线性函数将每个ri转换为ui，如等式所示
  
  这里ui表示类别j的第i个样本的重要性值。 nmax表示所有类别上nj的最大值，以确保不同类别的相同等级上的样本将被分配相同的ui。

• 需要单调增加函数，以将样本重要性进一步转换为损失权重wi。
  这里我们采用指数形式作为等式。 在图2中，其中γ是表示重要样本将被优先考虑的程度因子，β是决定最小样本权重的偏差。
  
  利用所提出的重加权方案，可以将交叉熵分类损失重写下面等式。
  
  其中n和m分别为正样本和负样本的数量，s和ˆs表示预测分数和分类目标。 请注意，简单地增加损失权重将改变损失的总价值以及正负样本损失之间的比率，因此我们将w标准化为w’ 为了保持总损失不变。

Classification-Aware Regression Loss（有待重新理解）

由于较早的讨论认为分类和定位是相关的。 我们建议使用分类感知回归损失（CARL）共同优化两个分支。 CARL可以提高prime样本的分数，同时抑制其他样本的分数。 回归质量决定了样本的重要性，我们期望分类器为重要样本输出更高的分数。 除了独立以外，两个分支的优化应该相互关联。

具体的添加可识别分类的回归损失，以便将梯度从回归分支传播到分类分支。
为此，我们提出了如下所示的CARL方程式：

pi表示相应的地面真理类别的预测概率，di表示输出回归偏移。 我们使用指数函数将pi转换为vi，然后根据所有样本的平均值对其进行重新缩放。 L是常用的平滑L1损失。显然，ci的梯度与原始回归损失L（di，ˆdi）成正比。
使用CARL，分类分支受回归损失的监督。 不重要的样本的分数被大大抑制，同时加强了对prime样本的关注。

作为补充，我们证明L（di，ˆdi）与pi的梯度之间存在正相关。 即，具有更大回归损失的样本将获得较大的分类分数梯度，这意味着对分类分数的抑制作用更强。 在另一种观点中，L（di，ˆdi）反映了样本i的定位质量，因此可以看作是IoU的估计，并且可以看作是IoU-HLR的估计。 排名靠前的样本大约具有较低的回归损失，因此分类得分的梯度较小。

&Evaluation

我在overlap sample论文的实验中，看到里面prime sample加在faster rcnn上，精度提升居然一个点不到，所以这两篇论文的实验的比较条件都是啥，条件不一样，也不至于差别这么大啊？？？

下面表格是来自overlap sample论文的实验部分，PISA的提点很低，而上面表格PISA对于faster rcnnd 提点再2个百分点左右，差别巨大呀。

&Thinks

• 对于负样本的采样和之前的采用方法效果差不多。但是出发点不一样，思考的角度不一样，与之前的方法最大的不同在于正样本的采用上，可以说是与之前截然不同，采样更关注prime sample，并赋予更大的权重，但这些prime sample在之前的方法里可就是easy sample，反而会赋予更低的权值。实验结果显示更关注prime sample显然效果更好。