[CVPR 2023:AeDet实现方位不变的多视图3D目标检测]

整体架构流程

论文地址:https://openaccess.thecvf.com/content/CVPR2023/papers/Feng_AeDet_Azimuth-Invariant_Multi-View_3D_Object_Detection_CVPR_2023_paper.pdf
主页:https://fcjian.github.io/aedet
代码:https://github.com/fcjian/AeDet

本文介绍了一种名为AeDet的方位角等变检测器,它能够实现多视图3D目标检测的方位不变性。如下图所示,假设不同方位的摄像机在不同时刻捕获到相同的场景,现有方法(以BEVDepth为例)在不同方位下对相同的公交车产生不同的BEV特征和预测结果,而AeDet则在不同方位下对相同的公交车产生几乎相同的BEV特征和预测结果。
[CVPR 2023:AeDet实现方位不变的多视图3D目标检测]_第1张图片

问题

目前基于Lift-Splat-Shoot(LSS)的多视图3D目标检测器(例如BEVDepth)通常由图像编码器(Image-view encoder)、视角转换器(View transformer)、BEV编码器(BEV encoder)和检测头(Detection head)组成。
[CVPR 2023:AeDet实现方位不变的多视图3D目标检测]_第2张图片
我们进行了一项基于BEVDepth的简单实验。我们假设不同方位的摄像机在不同时刻捕获到相同的场景,并将相同的图像作为6个视图的输入(为了简明起见,本文仅展示了3个视图)。令人惊讶的是,BEVDepth在不同方位下对相同物体(即下图中的公交车)生成了不同的BEV特征和检测结果。
[CVPR 2023:AeDet实现方位不变的多视图3D目标检测]_第3张图片
我们将逐个模块分析导致上述结果的原因。图像编码器和视角转换器会分别处理不同方位的图像,因此可以将图像转换为具有旋转等变性的BEV特征(即径向对称性),如下图所示:
[CVPR 2023:AeDet实现方位不变的多视图3D目标检测]_第4张图片
然而,BEV编码器和检测头使用传统的卷积和无锚检测头来进行BEV感知。这种设计忽略了BEV特征的径向对称性,导致在不同方位下对相同的物体产生不同的特征和预测。

[CVPR 2023:AeDet实现方位不变的多视图3D目标检测]_第5张图片
更具体地说,传统的卷积编码器和无锚检测头在BEV感知中存在以下两个问题:
1)如下方左图所示,传统的卷积编码器在特征的每个位置使用相同的采样网格,因此对于旋转等变的BEV特征,它在不同的方位下会采样和生成不同的BEV特征。
2)如下方右图所示,传统的检测头沿着笛卡尔坐标系的方向(蓝色箭头)预测物体的方向和速度,这导致检测头需要针对不同方位的相同物体预测不同的目标。
[CVPR 2023:AeDet实现方位不变的多视图3D目标检测]_第6张图片

方法

本文提出了一个名为AeDet的方位等变的多视图3D目标检测器,旨在统一不同方位下的BEV感知(即表示学习和预测),从而提高检测性能。该方法通过图像编码器和视角转换器处理多视角图像,生成具有径向对称性的BEV特征。随后,利用基于方位角等变卷积(AeConv)的BEV网络进一步编码方位不变的BEV特征,并基于方位角等变锚来预测方位不变的检测结果,具体结构如下方所示:
[CVPR 2023:AeDet实现方位不变的多视图3D目标检测]_第7张图片
2.1 学习方位不变的BEV特征
在学习方位不变的BEV特征方面,本文提出了一种名为方位角等变卷积(AeConv)的方法。AeConv旨在统一对不同方位的BEV特征学习,提取沿相机径向的BEV表示。具体而言,根据每个位置的方位角,我们将传统卷积的规则采样网格相应地旋转,并基于旋转后的采样网格进行卷积运算,如下方所示:

[CVPR 2023:AeDet实现方位不变的多视图3D目标检测]_第8张图片
需要注意的是,AeConv方法中旋转的采样网格始终是沿着相机径向的(如上图所示)。因此,无论在不同的方位下,AeConv都能够采样和学习相同的BEV特征,即具有方位角不变性的表示。我们使用AeConv代替传统的卷积操作,并构建了基于AeConv的BEV网络,以进一步编码方位不变的BEV特征。这种方法可以提高多视角3D目标检测的准确性和鲁棒性。
[CVPR 2023:AeDet实现方位不变的多视图3D目标检测]_第9张图片
2.2 预测方位不变的目标
方位角等变锚:我们根据每个位置的方位角重新定义了方位角等变锚;然后根据方位角等变锚的方向(蓝色箭头)计算检测框和速度的残差,得到与方位无关的预测目标:
[CVPR 2023:AeDet实现方位不变的多视图3D目标检测]_第10张图片
值得注意的是,方位角等变锚的方向总是在相机的径向上。因此,检测头可以根据方位等变的方向来预测目标的朝向、中心偏移量和速度,从而得到与方位无关的预测目标和结果:
[CVPR 2023:AeDet实现方位不变的多视图3D目标检测]_第11张图片
2.3 相机解耦的虚拟深度是一种新的深度预测方法,它具有相机内参无关性,可以对具有不同相机内参的图像进行统一的深度预测。具体实现方法是,首先使用相机解耦的深度网络来预测以虚拟焦距为基准的虚拟深度。然后,根据经典的摄像机模型,将虚拟深度转换为真实深度,使得预测的深度能够适配到不同的相机内参和视角下。这种方法可以有效地提高深度预测的鲁棒性和泛化能力。
[CVPR 2023:AeDet实现方位不变的多视图3D目标检测]_第12张图片

实验

3.1 与SOTA比较
在nuScenes验证集上的比较中,AeDet使用ResNet-50和ResNet-101分别实现了50.1%的NDS和56.1%的NDS,在性能上超过了当前的多视图3D目标检测器,如BEVFormer(超过4.4%)和BEVDepth(超过2.6%)。
[CVPR 2023:AeDet实现方位不变的多视图3D目标检测]_第13张图片
在nuScenes测试集上的比较中,AeDet将mAOE和mAVE分别提高了3.4%和2.8%,并以53.1%的mAP和62.0%的NDS在多视图3D目标检测方面取得了最新的先进结果。
[CVPR 2023:AeDet实现方位不变的多视图3D目标检测]_第14张图片
3.2 消融实验
与基准BEVDepth相比,AeNet(方位角等变卷积和方位角等变锚)在参数数量相同的情况下,仅增加了1.7%的FLOPs,将NDS提高了2个百分点(从44.2%增加到46.2%)。此外,相机解耦的深度网络(CDN)可提高1.5%的mAP和1.2%的NDS。
[CVPR 2023:AeDet实现方位不变的多视图3D目标检测]_第15张图片

3.3 旋转测试
不同方位的检测鲁棒性对于自动驾驶系统非常重要,因为车辆有时可能会进行大角度转弯。例如,在小型环形交叉路口或拐角处,车辆的转向角度变大,导致摄像头方向发生巨大变化。自动驾驶车辆在不同的朝向下都应当保持准确的检测性能。为验证检测器的鲁棒性,我们提出了旋转测试来模拟这种情形:我们将车辆顺时针旋转60度,获取旋转视图,并在该视图中评估检测器。如下表/图所示,在旋转视图下,BEVDepth产生了与原始视图不同的预测结果,其性能下降了4.6% NDS,而AeDet在原始视图和旋转视图中产生几乎相同的预测结果。
[CVPR 2023:AeDet实现方位不变的多视图3D目标检测]_第16张图片
[CVPR 2023:AeDet实现方位不变的多视图3D目标检测]_第17张图片

小结

总结起来,本文提出了一种名为AeDet的检测器,旨在实现方位不变的多视图3D目标检测。它采用了方位角等变卷积(AeConv)和方位角等变锚等多种创新技术,以实现方位不变的BEV感知,并通过相机解耦的虚拟深度来统一不同相机的深度预测。在nuScenes数据集上,AeDet取得了显著的性能提升,达到了62.0% NDS,超越了现有方法,在物体的方向和速度预测方面表现出卓越的改进。这项工作强调了方位角等变卷积和方位角等变锚在提高3D目标检测性能上的有效性,尤其是在多相机视图下。

你可能感兴趣的:(python深度学习,安装教程学习记录,#,学习笔记,3d,目标检测,人工智能,webpack,opencv,python,计算机视觉)