（Re-ID论文精读3）WACV2023 | Body Part-Based Representation Learning for Occluded PersonRe-Identificatio

最近对Re-ID比较感兴趣，读了一篇关于Re-ID的文章，作为自己学习的一个记录，有说的不正确的地方欢迎大家指正，也希望大家一起共同学习共同进步！！！

作为系列的第三篇文章，读下来深刻感觉一句话的含金量：不积跬步 无以至千里 不积小流 无以成江海！！ 借此勉励自己，坚持把这个系列做下去。

原文地址：https://openaccess.thecvf.com/content/WACV2023/papers/Somers_Body_Part-Based_Representation_Learning_for_Occluded_Person_Re-Identification_WACV_2023_paper.pdfhttps://openaccess.thecvf.com/content/WACV2023/papers/Somers_Body_Part-Based_Representation_Learning_for_Occluded_Person_Re-Identification_WACV_2023_paper.pdf

github：GitHub - VlSomers/bpbreid: A strong baseline for body part-based person re-identification (check out our WACV23 paper)A strong baseline for body part-based person re-identification (check out our WACV23 paper) - GitHub - VlSomers/bpbreid: A strong baseline for body part-based person re-identification (check out our WACV23 paper)https://github.com/VlSomers/bpbreid

1.Abstract

提出问题：对于遮挡场景下的REID任务，part-based 的方法使很适合且较为有效的，但是对于part-based的模型目前有两个问题：

（1）提取局部特征不如全局特征更有效，两个ID可能有着极为相似的局部特征，因此常规的标签并不能满足遮挡场景下的REID任务

（2）REID 数据集缺少遮挡场景的人员annotations

解决问题：

（1）提出BPBreID,一个body part-based ReID模型，其中设计了一个body part attention 模块来提取part-based 特征

（2）使用一个新的训练loss用来使模型专注于局部特征和难以区分的局部特征

2. Introduction

 REID 任务的一般步骤为：行人检测->boundingbox分割->匹配识别，而在分割出来的bbox中，很有可能同时包含多个人的信息、目标遮挡、背景干扰、姿势变化、光照变化、图片质量较差的问题。

大多数使用全局特征的方法不能很好解决下面这些情况：

（1）全局学习表征可能包括来自遮挡物体和行人的误导性外观信息。

（2）当比较两个被遮挡的样本时，只有比较两个图像中可见的身体部位才有意义。全局方法无法实现这种部分到部分的匹配，因为每次比较都使用相同的全局特征。

前人使用的part-based的方法不能很好解决以下情况：

（1）难以区分的局部特征。常规的REID的损失函数例如：id_loss 、triplet loss他们的原理都是假设不同的ID有着不同的特征，实际上在part-based 的方法中并不适用，因为在局部特征中，不同id的人也极有可能有着相同的特征，所以在part-based的方法中损失函数上的选择问题被忽视掉了，因此作者创造了一种新的loss——GiLt。这个损失函数在面对难以区分的局部特征上展现了很牛x的效果（很想看看有多牛）（其实这个发现并没有很高端，但是会讲故事真的很厉害）

（2）缺少局部特征的标注。基于部位的方法一般依靠空间注意图在全局特征图中进行局部池化，构建ReID目标的身体部位特征，但是图<4>,对于遮挡的局部特征，目前并没有精细的标注，使用外部姿态信息的标注，当图像质量较差时，显然也并不准确。事实上，空间注意图不仅要定位图像中的身体部位，而且还要识别出最能代表身体部位外观特征的特征向量。因此，理想的注意图不一定是精确的分割形状。因此，从前的part-based 的方法要么是利用pose keypoint 提取local信息，或者直接使用先验知识，在划定区域内学习特征。

总结来说，作者的意思就是以前局部特征提取来的信息不准或者说有冗余，因此设计了一个特征注意力模块，集中在body最具有代表性的信息和位置来解决上述问题。

3.Methodology 

BPBreID的总体体系结构如图所示。它包括两个模块:Body Part Attention Module和章节3.2中Global-local Representation Learning Module。

 3.1. Body Part Attention Module

未完待续。。。。