通过 BEV 世界模型进行在线轨迹评估的端到端驾驶

End-to-End Driving with Online Trajectory Evaluation via BEV World Model

25年4月来自中科院自动化所和中科院大学

        端到端自动驾驶通过将感知、预测和规划整合到一个完全可微分的框架中取得了显著进展。然而，为了充分发挥其潜力，有效的在线轨迹评估对于确保安全是必不可少的。通过预测给定轨迹的未来结果，轨迹评估变得更加有效。通过采用世界模型来捕捉环境动态并预测未来状态，可以实现这一目标。因此，我们提出了一种端到端的驱动框架WoTE，该框架利用BEV World模型来预测未来BEV的状态，以进行轨迹评估。与图像级世界模型相比，所提出的BEV世界模型具有延迟效率，并且可以使用现成的BEV空间交通模拟器进行无缝监控。我们在NAVSIM基准和基于CARLA模拟器的闭环Bench2Drive基准上验证了我们的框架，实现了最先进的性能。

---

核心问题

传统端到端自动驾驶系统仅关注轨迹预测，缺乏对轨迹安全性的动态在线评估。现有方法存在两大局限：

1. 规则依赖型：依赖感知结果（如边界框），对感知误差敏感且不可端到端优化。

2. 无未来状态预测：仅基于当前状态评估轨迹，无法预见轨迹执行后的潜在风险。

---

创新方案：WoTE框架

提出 WoTE（World model for Trajectory Evaluation），通过BEV世界模型预测轨迹的未来状态，实现安全高效的轨迹评估：

1. BEV空间优势：

   • 高效性：BEV语义图（如尺寸8×8）比图像空间更紧凑，单步前向预测（18.7ms）远超扩散模型的多步去噪。

   • 易监督：利用nuPlan等BEV仿真器生成未来状态的真值（语义图+奖励标签），解决真实数据仅含单一未来的问题。

2. 四阶段架构：
   

   • 轨迹预测器：多模态输入（LiDAR+相机）→ BEV特征图 → 生成256条候选轨迹（K-Means锚点+MLP偏移修正）。

   • BEV世界模型：以Transformer编码器预测轨迹未来K步状态（递归式，如t→t+2s→t+4s）。

   • 奖励模型：结合当前+未来状态预测奖励：

     • 模仿奖励（$r_{\text{im}}$）：贴近专家轨迹（交叉熵监督）。

     • 仿真奖励（$r_{\text{sim}}$）：nuPlan五维度（碰撞/可行驶区域/碰撞时间/舒适度/进度）。

   • 轨迹选择：加权奖励最大化（$r_{\text{final}} = -\sum w_i \log r_i$）。

---

关键实验与结论

1. SOTA性能（NAVSIM & CARLA）

基准	方法	关键指标	WoTE结果	对比SOTA
NAVSIM (开环)	Hydra-MDP	PDMS	87.1	+0.6↑
Bench2Drive (闭环)	TCP	驾驶得分	61.71	+1.81↑

PDMS = 无碰撞率 × 可行驶区域合规率 × (5×进度 + 5×碰撞时间 + 2×舒适度)/12

2. 消融实验核心发现

• 未来状态预测必要性：

  • 无轨迹评估：PDMS=81.0 → 加入评估：83.2 → 加入未来状态：85.6。

• 奖励互补性：

  • 仅模仿奖励：擅长避撞（NC↑）但进度（EP↓）差；

  • 仅仿真奖励：进度（EP↑）优但避撞弱；

  • 二者结合：全指标提升。

• 轨迹数量：256条时性能饱和（PDMS=85.6），128条性价比高（85.4，延迟17.9ms）。

• 泛化性：训练用256条轨迹，测试1024条未见轨迹时PDMS反升1.3（85.3→86.6）。

---

技术突破点

1. 首提BEV世界模型：将强化学习的model-based思想引入自动驾驶，实现未来感知-规划联合优化。

2. 仿真器监督新范式：利用nuPlan生成密集监督信号，解决多未来预测的标注难题。

3. 实时性保障：BEV特征压缩+并行计算，全流程延迟≤20ms（满足实时驾驶需求）。

---

局限与展望

• 仿真-现实差距：依赖仿真器生成真值，实际部署需域适应。

• 复杂交互建模：多智能体博弈场景（如无保护左转）需进一步强化。

• 硬件依赖：实验基于L20 GPU，嵌入式平台部署需轻量化。

---

总结

WoTE通过BEV世界模型实现了端到端自动驾驶的在线轨迹安全评估，核心价值在于：

1. 前瞻性评估：预测轨迹的未来状态，规避潜在风险。

2. 数据高效性：利用仿真器解决多未来监督难题。

3. 强泛化性：对未见轨迹保持鲁棒性。

4. 工程友好：兼顾SOTA性能与实时性（代码已开源）。

如果此文章对您有所帮助，那就请点个赞吧，收藏+关注 那就更棒啦，十分感谢！！！