【论文笔记】：LLA: Loss-aware Label Assignment for Dense Pedestrian Detection

LLA论文笔记

• LLA: Loss-aware Label Assignment for Dense Pedestrian Detection
• 代码

Summary

标签分配策略对检测器的性能影响很大，现有研究都是在常规的通用目标检测上做，不适用于密集行人检测场景。

作者提出了一种简单有效的分配策略，称为损失感知的标签分配（LLA），以提高人群场景中行人检测的性能。LLA首先计算每个锚点与GT对之间的分类（cls）和回归（reg）损失。然后将联合损失定义为cls和reg损失的加权总和作为分配指标。最后，将某个GT具有K个最小联合损失的锚定为其正锚。未分配给任何GT盒的锚定为负锚。

在CrowdHuman和CityPersons上进行的实验表明，这种简单的标签分配策略可以在两个流行的一阶段检测器RetinaNet和FCOS上将MR分别提高9.53％和5.47％，证明了LLA的有效性。

Contribution

• 提出了一种简单有效的分配策略，称为损失感知的标签分配（LLA），以提高人群场景中行人检测的性能。
• 在CrowdHuman和CityPersons上进行的实验表明，这种简单的标签分配策略可以在两个流行的一阶段检测器RetinaNet和FCOS上将MR分别提高9.53％和5.47％

Research Objective

针对密集拥挤场景下的检测任务，突破现有标签分配策略的限制，解决锚点\盒中心和对应的GT框不一致的情况。

Problem Statement

• 在密集场景下，目标对象（人）排列更加密集，导致不同目标之间存在严重的遮挡。这种严重遮挡问题会产生两个问题：
  • 遮挡行人的错误分类
  • 错误定位

针对遮挡问题的相关解决方案：

Recent works mainly utilized additional information or regularization term to relieve these two problems.

• Bi- box [37] and R2-NMS [8] alleviate the first issue by introducing visible body annotations as extra supervisions.
• For the second issue, [27] imposes a novel regression penalty term on the misplacing predictions to tackle it.

These methods try to amend the poor predictions from the detectors

• 手工设计的标签分配策略，倾向于在GT框的几何中心附近分配正锚。这种标签分配策略在流行的检测器上有用，但在拥挤场景下，就出现了问题。

If a person is heavily occluded, his/her geometric center may fall onto other’s body, which will lead to inconsistency between the features of sampled points and their corresponding GT boxes. These twisty samples interfere with the training of detectors are certainly one of the main reasons for the mis-classifying and misplacing issues in DPD(dense pedestrian detection)

• “动态”标签分配策略，根据网络的预测来自适应地定义正锚点和负锚点，但是它们有一个共同的先验，那就是需要预先构建一组正候选锚点，这样仍然限制了正锚点是来自几何中心附近的区域。

1. Constructing a bag of positive candidate anchors for each GT.
2. Calculating a certain metric e.g. IoU [32], score function [9] or likelihood [35] for each GT’s candidate anchors.
3. Applying statistical tools or hard thresholds on the calculated metric to define positive and negative anchors.

Methods

为了突破现有标签分配策略的限制，作者提出了一种非常简单但有效的标签分配策略，即损耗感知标签分配(Loss-aware label Assignment, LLA)，用于密集行人检测。

1. 首先，LLA计算每个锚和GT对之间的cls和reg损失。
2. 然后，将cls和reg损失的加权总和定义为联合损失，以估计一个锚对一个GT盒的学习能力。
3. 为了模型更快的收敛，在损失项加入了一个C^inbox。

与其他标签策略相比：

• 与使用复杂手工规则的标签分配策略相比，LLA只利用了最小的“在框”优先级。LLA根据模型输出的反馈，自动确定每个GT分配给FPN层的位置。
• 相对于部分动态策略，LLA以完全动态的方式分配锚，这有助于LLA更好地处理严重的闭塞情况。

具体细节：
给定一幅输入图像M，设有J个锚点和I个标注（GT框），下面公式中，S表示M每个锚框的等分，B表示M中每个锚框的位置预测。所以S的大小是JxN，N是类别，B的大小是Jx4
C^cls和C^reg的大小就是IxJ，表示的是每个框和每个锚点的损失

C是联合损失，λ是控制回归损失的（好像很多计算损失的时候，分类和回归损失的占比不是1：1）

引入了一个C_i,j^inbox，加快收敛。
其实也是一种先验，如果锚点/框的中心不在GT内，那回归起来肯定要慢，所以损失就给大点，论文中是用的10²

最后的联合损失

然后选择损失值最小的K个，给它分配为正，没有被分配到的锚点，为负。

Evaluation

• 提出的标签分配策略的可视化效果：
  
  

• 与baseline的实验对比结果：

  MR表示每幅图像(FPPI)在[10−2,100]范围内的对数平均误报率。

  

• 使用联合损失的消融实验：
  

• SOTA实验对比：
  

Thinks

• 看了这篇对ATSS的分析，突然感觉ATSS确实不咋地了，标签分配这块感觉没啥可做了

  • 标签分配2020年比较火的有：ATSS、PAA、Autoassign（还有其他吗？？？我只看过这三篇）

• 文中有提到Autoassign，但是没有和Autoassign对比一下，不知道这两个谁会比较好点。

• 下面这句话，我觉得可以将这种思路应用到很多地方，去解决。

具有损失感知的标签分配基于以下观察结果：具有较低联合损失的anchor通常包含更丰富的语义信息，因此可以更好地表示其对应的GT框。