A Survey on Multimodal Large Language Models for Autonomous Driving

本文是LLM系列文章，针对《A Survey on Multimodal Large Language Models for Autonomous Driving》的翻译。

摘要

随着大型语言模型（LLM）和视觉基础模型（VFM）的出现，受益于大型模型的多模态人工智能系统有可能像人类一样感知现实世界、做出决策和控制工具。近几个月来，LLM在自动驾驶和地图系统中得到了广泛关注。尽管其潜力巨大，但仍缺乏对LLM驾驶系统应用的关键挑战、机遇和未来努力的全面了解。在本文中，我们对这一领域进行了系统的研究。我们首先介绍了多模态大语言模型（MLLMs）的背景、使用LLM的多模态模型开发以及自动驾驶的历史。然后，我们概述了用于驾驶、运输和地图系统的现有MLLM工具以及现有的数据集和基准。此外，我们总结了第一届WACV自动驾驶大型语言和视觉模型研讨会（LLVM-AD）的工作，这是第一次关于自动驾驶中LLM的研讨会。为了进一步推动这一领域的发展，我们还讨论了在自动驾驶系统中使用MLLMs需要学术界和工业界共同解决的几个重要问题。论文集可以在Awesome Multimodal LLMAutonomous Driving找到。

1 引言