端到端自动驾驶LLM：Driving with LLMs: Fusing Object-Level VectorModality for Explainable Autonomous Driving

论文地址：https://arxiv.org/abs/2310.01957

代码地址：https://github.com/wayveai/Driving-with-LLMs

1. 摘要

大型语言模型（LLMs）在自动驾驶领域展现出在泛化能力和可解释性方面的巨大潜力。由于图像/视频等模态不利于结构化推理和语言对齐，论文将矢量化的数值模态（感知结果）与预训练LLM融合，构建LLM-Driver模型，从而提升对驾驶情境的理解能力。

2.方法

LLM-Driver的框架结构如下图所示，首先从环境中获取矢量化结构信息（感知的识别结果、高精度地图等），每类对象各有一个encoder（例如MLP），将原始矢量编码为统一维度的 token embedding，最终Vector Encoders输出的是NxD维度的编码信息。然后将Vector Encoders输出的信息给到Vector-Former，Vector Former