论文阅读《BEVFormer》

BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers

摘要

3D视觉感知任务对于自动驾驶系统至关重要，包括基于多相机图像的3D检测和地图分割。在这项工作中，我们提出了一个名为BEVFormer的新框架，它使用时空变换器学习统一的BEV表示，以支持多种自动驾驶感知任务。简而言之，BEVFormer通过预定义的网格状的BEV查询来进行时空交互，以此来利用时空信息。为了聚合空间信息，我们设计了空间交叉注意力，每个 BEV查询从跨相机视图的感兴趣区域中提取空间特征。对于时间信息，我们提出时间自我注意力来循环融合历史BEV信息。我们的方法在 nuScenes 测试集上的NDS指标方面达到了新的最佳水平56.9%，比之前的最佳技术高出9.0分，与基于LiDAR的基线的性能相当。我们进一步表明，BEVFormer显著提高了低能见度条件下速度估计的准确率和目标的召回。代码可以在https://github.com/zhiqi-li/BEVFormer上找到。

1 介绍

3D空间中的感知对于自动驾驶、机器人等各种应用至关重要。尽管基于LiDAR的方法取得了显著进展，但基于相机的方法近年来引起了广泛关注。除了部署成本低之外，与激光雷达相比，相机还具有检测远距离物体和识别基于视觉的道路元素（例如交通灯、停止线）的理想优势。

<