【论文解读】End-to-End Autonomous Driving through V2X Cooperation

摘要

通过V2X通信，协同利用自主车辆和基础设施传感器数据已成为先进自动驾驶的一种有前景的方法。然而，目前的研究主要集中在改进单个模块，而不是通过端到端的学习来优化最终的规划性能，导致数据潜力未得到充分利用。在本文中，我们介绍了UniV2X，这是一种开创性的协作式自动驾驶框架，可将跨不同视图的所有关键驾驶模块无缝集成到统一网络中。本文提出了一种稀疏密集混合数据传输和融合机制，用于车辆与基础设施的有效合作，具有以下三个优势:1)有效地同时增强智能体感知、在线地图和占用预测，最终提高规划性能。2)传输友好，适用于实际和有限的通信条件。3)数据融合的可靠性和混合数据的可解释性。我们在具有挑战性的DAIR-V2X(现实世界的协作驾驶数据集)上实现了UniV2X，并重现了几种基准方法。实验结果证明了UniV2X在显著提高规划性能以及所有中间输出性能方面的有效性。代码在https://github.com/AIR-THU/UniV2X。

引言

一些研究调查了外部传感器数据在不同任务中的有效性，如检测[18,35,44,47,61]、跟踪[63]、分割[51]、定位[10,20]和预测[36,40,63]。然而，现有的解决方案主要强调单个任务的优化，而忽略了整体规划的增强。由于单个任务目标与最终计划目标之间的不一致，这给综合数据开发带来了挑战。因此，利用车载和外部传感器数据直接优化最终规划输出的端到端学习探索变得非常必要。本文主要研究以图像为输入数据的车辆-基础设施协同自动驾驶(VICAD)。我们也考虑在V2V场景中验证UniV2X。
VICAD问题可以表述为在受限通信带宽下具有多视图传感器输入的以规划为中心的优化问题。与单车自动驾驶相比，通过端到端学习解决VICAD带来了额外的挑战。

• 首先，传输的基础设施数据必须提高自动驾驶中的关键模块和最终规划性能。这些关键模块包括动态障碍物感知、在线地图和基于网格占用的一般障碍物检测，为确保自动驾驶的安全性提供了明确的场景表示。
• 其次，受实时需求和有限通信条件的驱动，最小化传输成本对于减少通信带宽消耗和减少延迟至关重要。
• 第三，传输的数据必须是可解释的，允许车辆验证和明智地使用数据，以防止潜在的安全问题，如通信攻击和数据损坏。

为了应对这些挑战，需要设计良好的数据传输和跨视图数据融合解决方案。
下面是一些通过端到端学习来解决合作驾驶问题的简单尝试。CSA[45]直接将从其他车辆接收到的原始图像共享并馈送到基本神经网络中进行控制输出。CooperNaut[9]在车辆之间共享从点云中获得的特征，并将其输入到一个基本的CNN网络中作为最终输出。然而，这些现有的解决方案依赖于一种简单的方法，利用简单的网络来优化计划和控制输出实现端到端自动驾驶。这种范式缺乏显式模块，损害了安全性和可解释性。特别是在复杂的城市环境中，这种方法在确保驾驶系统的可靠性方面存在不足。

为此，我们推出了UniV2X，这是一种创新的协作式自动驾驶框架，可将关键模块和交叉视图无缝集成到统一网络中，如图2所示。除了最终的规划任务，我们还解决了自动驾驶中场景表示的三个常见任务:

• 1)智能体感知，包括动态障碍物感知的3D物体检测、跟踪和运动预测，
• 2)在线地图的道路元素(特别是车道)检测，
• 3)一般障碍物感知的网格占用预测。

受UniAD[16]的启发，我们采用基于查询的架构来建立跨节点的连接，包括基础设施和自我-车辆系统内部模块，以及跨视图交互。在传输和跨视图交互中，我们将智能体感知和道路元素检测分类为实例级表示，将占位预测分类为场景级表示。我们传输了跨视图agent感知交互和在线地图交互的agent查询和车道查询。我们传输被占用概率图，识别其在场景级占用的密集性，用于跨视图占用交互。这种传输称为稀疏密集混合传输，分别在空间和特征维度上平衡稀疏性和密度。跨视图数据融合，如agent融合，主要涉及时空同步、跨视图数据匹配与融合、数据自适应规划和中间输出。由此产生的轻量级方法增强了动态对象感知、在线地图和占用模块，从而提高了规划性能。此外，查询和占用概率图的可解释性分别在实例和场景级别加强了VICAD系统的可靠性，增强了其传输完整性和融合安全性。
贡献：

• 我们率先推出了首个明确的端到端框架，将重要模块统一到一个模型中，推动了协作式自动驾驶的发展。值得注意的是，UniV2X是VICAD的第一个端到端框架。
• 我们设计了一种稀疏密集混合传输和跨视图数据交互方法，符合端到端协作自动驾驶的有效性、传输友好性和可靠性先决条件。
• 我们复制了几种合作方法作为基准，以及在DAIR-V2X[60]和V2X-Sim[25]上实例化UniV2X框架。实验结果强调了我们的端到端范式的有效性。

【端到端自动驾驶】
端到端自动驾驶涉及以可微分和可学习的方式直接从原始数据中提取规划输出。开创性的工作，如[2]，使用cnn从点云数据生成控制输出。其他的，如[37,65]，利用点云和高清地图作为输入。同时，像[38]这样的工作利用多模态传感器