Multi-Task Learning via Co-Attentive Sharing for Pedestrian Attribute Recognition

动机：
为了在两个单独的任务网络之间共享特征表示，传统的方法，如Cross-Stitch和Sluice网络学习特征或特征子空间的线性组合。然而，线性组合排除了通道之间复杂的相互依赖关系。此外，空间信息交换的考虑较少。

贡献：
提出了一种新的共注意共享(co - Sharing, CAS)模块，该模块提取识别通道和空间区域，从而在行人属性识别中实现两个任务网络之间更有效的特征共享。它包括三个分支:协同分支、注意分支和特定任务分支。它们利用共享的中间向量产生的三种不同的信道关注，并发挥不同的作用。协同分支融合每个任务中选择的特征，生成增强的特征和空间注意力地图。注意分支计算全局特性注意，而任务特定的分支突出每个任务中的重要通道。最后，将三个分支的结果组合在一起作为模块的输出。

框架：

由上图可以看出，分为三个分支Synergetic Branch，Attentive Branch.和Task-specific Branch，Synergetic Branch目的是从两个任务中选择的信息中提取识别特征和空间注意图；Attentive Branch目的是解决尽管空间注意图具有信息性，但直觉上它可能只对某些需要空间正规化的通道有用的问题；Task-specific Branch目的是通过增强每个任务的自身特征来进一步改进该特征。
实验：
在PA-100K和PETA数据集上进行实验，使用两个预训练实例化多任务网络ResNet-34 。CAS模块被插入到第1层到4层软参数共享，


通过可视化每个层和每个网络的空间注意力来提供定性结果，如下图：

作者进行了细致的消融实验，实验如下表所示：

前三部分分别代表三个分支的影响，第四部分是channel attention的影响。

上表是对输入方式不同获得的结果。前两种进行了分组，最后一种是随机的。


CAS模块是插入到网络中，通过上表可以看出最有效的集成位置是第2层和第3层。通常，网络中插入的CAS模块越多，它的F1值就越高。