CornerNet:Detecting Objects as Paired Keypoints

(ECCV2018, 密歇根大学)
论文：https://arxiv.org/pdf/1808.01244.pdf
代码：https://github.com/princeton-vl/CornerNet

Abstract

将目标检测问题当做关键点检测问题来解决，通过检测左上角和右下角的点对来得到检测框，因此避免使用传统检测方法常用的锚点框采样。同时还引入corner pooling（角点池化），以此来帮助网络更好地定位关键点，在COCO数据集上达到了42.1%的AP，优于目前所有的单阶段检测器。

Introduction

在单阶段方法中使用锚点框（anchor boxes）（SSD，YOLOv2，DSSD，RetinaNet）可以实现与两阶段检测器相当的性能，但使用锚点框有两个弊端，首先，通常需要采样大量的锚点框，以保证能与尽可能多的标注框重合，所以正负样本数量不均衡，大部分检测算法的锚点框数量都成千上万，这就导致正样本数量会远远小于负样本数量；其次，锚点框的使用引入较多超参以及设计策略，比如锚点框的数量、大小和宽高比等。
在CornerNet中，使用单个卷积神经网络为图像中同一类别所有对象的左上角关键点和右下角关键点分别预测一个热力图，同时为所有检测的点产生一个特征向量，该向量用于对属于同一对象的一对角点进行分组。
本文提出的另一创新点是corner pooling，一种新的池化层，帮助卷积神经网络更好地定位检测框的角点。通常检测框的角都是在目标对象之外，因此就不能利用局部信息来进行定位。为了确定在某一个像素位置是否存在左上角，需要水平向右看到对象的最上边界，并垂直向下看到最左边界。因此角点池化以两幅特征图为输入，在每一个像素点，对该点到第一幅特征图最右边的向量进行最大池化，对该点到第二幅特征图最底端的向量进行最大池化，最后将两个池化结果加起来，如图1。

图1 top-left corner pooling

检测角点比检测中心点或者直接检测候选框要好的原因：首先，物体的中心很难检测，因为其依赖于对象的四条边，而角点只依赖两条边，因此更容易，此外角点池化引入了有关角点定义的先验信息。其次，角点提供了一种更简单有效的方式来较密集地离散对象空间。

CornerNet

在CornerNet中，卷积神经网络预测两份热力图，来代表不同类别的角点位置，一份代表左上角，一份代表右下角。同时网络还为每一个检测到的点预测一个特征向量，使得来自同一个物体之间的两个角点的向量之间的距离很小，为了得到更为致密的检测框，网络还输出一个偏移量，以此来轻微地调整角点的位置。由输出的特征图、特征向量和偏移量，再加上一些后处理算法，就能得到最后的检测结果。整个网络的流程如图2。

图 2 Overview of CornerNet

CornerNet以hourglass network(https://arxiv.org/abs/1603.06937)为骨架网络，后接两个预测模块，分别预测左上角和右下角，每个模块都有其自己的角点池化层。本文不使用来自多个不同层的特征，仅仅将两个预测模块应用于hourglass network的输出上。

Detecting Corners

网络分别为左上角和右下角预测一份特征图，每份特征图都有C个通道，代表C个类别，尺寸为HxW，每个通道的特征图都是二值化的mask图，表示某一类别的角点。
对于每一个角点，只有一个正样本（实际标注），其他的位置都是负样本。训练时，对于在正样本半径内的负样本减少惩罚，而不是同等地给予惩罚。这是因为一对离实际标注很近的角点，同样能够产生一个与实际标注框重叠比很高的检测框。半径的确定：保证一对角点生成的检测框与实际标注至少有0.7的重叠比。半径给定值后，惩罚减少的数量由非标准化的2D高斯函数给出:

方差为半径的三分之一。
网络的损失函数为：

Improved Focal Loss

其中，P(cij)代表在预测的特征图上位置(i,j)处类别c的得分，y(cij)是增加了非标准高斯函数的实际标注特征图上对应位置对应类别的得分。此外，考虑到特征图与原图之间的分辨率差距，将特征图上某位置映射回原图通常会带来位置精度损失，而这对预测框和标注框之间的重叠比影响较大，因此，网络输出位置偏移量在角点映射回原图之前来轻微地调整其位置：

Offset

o(k)表示第k个角点的偏移量，x(k)和y(k)表示横纵坐标。特别地，网络同时为所有左上角点预测同一个偏移量，为所有右下角点预测另一个偏移量。训练时，采用平滑L1损失来约束角点位置：

Offset Loss

Grouping Corners

一张图中可能会有多个物体，因此将预测产生多对角点，需要确定一对左上角点和右下角点是否来自同一个检测框，本文的方法来源于 Associative Embedding method（https://papers.nips.cc/paper/6822-associative-embedding-end-to-end-learning-for-joint-detection-and-grouping.pdf），为每一个检测点预测一个特征向量，根据点之间向量的距离来对其进行分组。如果一个左上角点和一个右下角点来自同一个检测框，那么它们之间的向量距离将会比较小，因此根据左上角与右下角之间向量的L1距离来对角点进行分组。

Grouping Loss

其中，“pull”表示训练时用以将角点组合到一起，“push”表示训练时将角点分离开来，e(tk)表示左上角的特征向量，e(bk)表示右下角的特征向量，两者都是一维的，e(k)是两者均值。与偏移损失类似，只对实际标注角点应用该损失。

Corner Pooling

图3 Corner Pooling

Computation

为了确定位置(i,j)是否是左上角点，假设f(t)和f(l)是左上角点池化层的输入特征图，f(tij)和f(lij)分别是两特征图上对应位置的向量值，对于HxW的特征图，首先将特征图f(t)中位置(i,j)到(i,H)的向量最大池化为tij，将特征图f(l)中位置(i,j)到(w,j)的向量最大池化到l(ij)，最后将tij和l(ij)加到一起。对于右下角池化层，类似地计算(0,j)到(i,j)的最大池化以及(i,0)到(i,j)的最大池化，然后相加。
预测模块如下图：

图4 Prediction Modules

Hourglass Network

Hourglass Network最开始用于人体姿态估计，是全卷积网络，包含一个或者多个hourglass module：首先通过卷积和池化对图片进行降采样，然后再通过上采样层将分辨率还原，同时引入跳层连接来弥补细节信息的丢失。因此沙漏模块同时捕获全局和局部信息，多个沙漏模块堆叠起来，重复处理特征，将得到更高层的语义信息。
本文采用两个沙漏模块组成沙漏网络，不使用池化，令卷积的步长为2来降低分辨率，上采样层为两个残差块再接近邻插值，每个跳层连接也包含2个残差模块。网络总共104层。

Experiments

输入图片大小为512x512，训练的总损失为：

training loss

将预测的热力图和偏移量换成世家标注，检测性能将得到大幅度提升，尤其是单独替换为实际标注的热力图时，提升效果相当明显，说明制约网络性能的主要因素还是角点的检测效果。如下表：

表1 Error Analysis

与其他方法的对比实验：

表2 MS-COCO test