Qwen-VL: 一种多功能的视觉-语言模型，用于理解、定位、文本阅读等

论文题目：Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond

论文地址：https://arxiv.org/pdf/2308.12966

github地址: https://github.com/QwenLM/Qwen-VL?tab=readme-ov-file

更多技术文章可以关注工众号：大厂小僧

1. Abstract

        在这项工作中，介绍了 Qwen-VL 系列，一系列大规模的视觉-语言模型（LVLMs），旨在感知和理解文本与图像。以 Qwen-LM 作为基础模型，通过精心设计的 (i) 视觉接收器，(ii) 输入输出接口，(iii) 三阶段训练流程，(iv) 多语言多模态干净的语料库，赋予其视觉能力。除了传统的图像描述和问答功能外，还通过对齐图像-描述-框元组，实现了 Qwen-VL 的定位和文本阅读能力。由此产生的模型，包括 Qwen-VL 和 Qwen-VL-Chat，在广泛的以视觉为中心的基准测试（例如图像描述、问答、视觉定位）以及不同设置（如零样本、少样本）下，均创下了同类模型规模中的新纪录。此外，在真实世界的对话基准测试中，指令调优模型 Qwen-VL-Chat 也显示出相较于现有视觉-语言聊天机器人更高的优越性。

2. Introduction

        最近，大型语言模型（LLMs）（Brown 等，2020；OpenAI，2023；Anil 等，2023；Gao 等，2023；Qwen，2023）因其在文本生成和理解方面的强大能力而广受关注。通过微调指令，这些模型可以进一步与用户意图对齐，展现出强大的交互能力，并有可能作为智能助手提升生产力。然而，上述这些大型语言模型仅存在于纯文本世界中，缺乏处理其他常见模态（如图像、语音和视频）的能力，从而大大限制了它们的应用范围。受此启发，一组大型视觉-语言模型（LVLMs）（Alayrac 等，2022；Chen 等，2022；Li 等，2023c；Dai 等，2023；Huang 等，2023；Peng 等，2023；Zhu 等，2023；Liu 等，2023；Ye 等，2023b,a；Chen 等，2023a；Li 等，2023a；Zhang 等，2023；Sun 等，2023；OpenAI，2023）被开发出来，以增强大型语言模型感知和理解视觉信号的能力。这些大规模的视觉-语言模型在解决以视觉为中心的现实问题上展现出了可喜的潜力。

        然而，尽管已经有大量研究探索了大型视觉-语言模型（LVLMs）的局限性和潜力，但目前的开源 LVLMs 仍然面临着训练和优化不足的问题，因此远远落后于专有模型（Chen 等，2022, 2023b；OpenAI，2023）。这阻碍了在开源社区中对 LVLMs 的进一步探索和应用。更重要的是，由于现实世界的视觉场景非常复杂，细粒度的视觉理解对于 LVLMs 能够有效且精确地帮助人们至关重要。然而，在这一方向上仅有少数尝试（Peng 等，2023；Chen 等，2023a），大多数开源的 LVLMs 仍然以粗粒度的方式感知图像，缺乏执行细粒度感知（如对象定位或文本阅读）的能力。

        在本文中，探讨了解决之道，并介绍了开源 Qwen 系列的最新成员：Qwen-VL 系列。Qwen-VLs 是一系列基于 Qwen-7B (Qwen, 2023) 语言模型的高性能且多功能的视觉-语言基础模型。通过引入一个新的视觉接收器，使大型语言模型具备视觉能力，该接收器包括一个与语言对齐的视觉编码器和一个位置感知适配器。整体模型架构以及输入输出接口都非常简洁，精心设计了一个三阶段的训练流程，在大量的图文语料库上优化整个模型。

        Qwen-VL具备感知和理解视觉输入的能力，能够根据给定的提示生成所需的响应，并完成各种视觉-语言任务，如图像描述、问答、文本导向的问答以及视觉定位。Qwen-VL-Chat 是基于 Qwen-VL 的指令调优视觉-语言聊天机器人。如图 2 所示，Qwen-VL-Chat 能够与用户互动，并根据用户的意图感知输入的图像。