【论文速读】地平线：HE-Drive Human-Like End-to-End Driving with Vision Language Models

摘要

https://jmwang0117.github.io/HE-Drive/

本文介绍了一种名为HE-Drive的人类中心的端到端自动驾驶系统，该系统可以生成既具有时间一致性又舒适的轨迹。

现有的模仿学习和基于学习的轨迹评分器能够有效地生成和选择准确的轨迹，但它们难以解决生成不连贯和不舒服的轨迹的问题。

为了解决这些问题，HE-Drive 首先通过 稀疏感知（sparse perception） 提取关键的3D空间表示，然后将其作为 基于条件去噪扩散概率模型（DDPM，Conditional Denoising Diffusion Probabilistic Model） 的运动规划器的条件输入，以生成时间一致性多模态轨迹。 视觉语言模型（VLM） 引导的轨迹评分器随后从这些候选轨迹中选择最舒适的轨迹来控制车辆，确保像人类一样的端到端驾驶。

实验表明，HE-Drive不仅在挑战性数据集nuScenes和OpenScene上取得了最先进的性能，并且提供了最舒适的驾驶体验。

整体架构流程

论文方法