【AI论文】基于图像思维的多模态推理：理论基础、方法及未来前沿

摘要：近期，文本思维链（Chain-of-Thought，CoT）显著推动了多模态推理的进展。在这一范式下，模型在语言层面进行推理。然而，这种以文本为中心的方法将视觉信息视为静态的初始语境，从而在丰富的感知数据与离散的符号思维之间造成了根本性的“语义鸿沟”。人类认知往往超越语言的局限，将视觉作为动态的心理草图板加以利用。如今，人工智能领域也正经历着类似的演变，标志着从仅能对图像进行思考的模型向真正能够借助图像进行思考的模型发生了根本性的范式转变。这一新兴范式的特点是，模型将视觉信息作为思维过程中的中间步骤加以利用，将视觉从被动输入转变为动态、可操控的认知工作空间。在本次调研中，我们沿着认知自主性不断增强的轨迹，描绘了这种智能的演变过程，这一过程跨越了三个关键阶段：从外部工具探索，到程序化操作，再到内在想象。为梳理这一快速发展的领域，本次调研做出了四项关键贡献。（1）我们确立了借助图像思考这一范式的基本原则及其三阶段框架。（2）我们对该路线图各阶段所采用的核心方法进行了全面回顾。（3）我们分析了评估基准和变革性应用的关键格局。（4）我们指出了重大挑战，并概述了充满希望的未来发展方向。通过提供这一结构化的概述，我们旨在为未来朝着更强大、更符合人类需求的多模态人工智能研究提供清晰的路线图。Huggingface链接：Paper page，论文链接：2506.23918

研究背景和目的

研究背景

近年来，多模态推理（Multimodal Reasoning）领域取得了显著进展，这主要得益于文本思维链（Chain-of-Thought, CoT）方法的引入。CoT方法通过让模型在语言层面进行推理，显著提高了多模态模型在复杂任务上的表现，如视觉问答、基于视觉的数学问题求解以及复杂的叙事生成等。然而，这种以文本为中心的推理方法存在一个根本性的限制：它将视觉信息视为静态的初始语境，而语言则是唯一的思维媒介。这种处理方式导致了丰富的感知数据与离散的符号思维之间存在“语义鸿沟”，限制了模型对视觉信息的深度理解和利用。

人类认知往往超越语言的局限，能够动态地利用视觉信息作为心理草图板，进行复杂的推理和想象。例如，在解决物理问题时，人们常常通过在脑海中模拟物体的运动来辅助理解和推理。这种能力使得人类能够更直观、更高效地处理复杂的视觉信息。然而，现有的多模态模型大多仅能“思考关于图像”（Thinking about Images），即被动地接收和处理视觉信息，而无法像人类一样“借助图像进行思考”（Thinking with Images），即主动地利用视觉信息进行中间推理步骤。

研究目的

本研究旨在探索和建立一种新的多模态推理范式——“借助图像进行思考”（Thinking with Images），使模型能够主动地利用视觉信息作为中间推理步骤，从而更深入地理解和处理多模态数据。具体而言，本研究的目的包括：

1. 确立理论基础：阐明“借助图像进行思考”范式的基本原则和理论框架，明确其与传统“思考关于图像”范式的区别和联系。
2. 构建方法体系：提出一套系统的方法，使模型能够在推理过程中动态地利用视觉信息，包括外部工具探索、程序化操作和内在想象三个阶段。
3. 评估模型性能：通过设计一系列评估基准和实验，验证新范式在提升多模态推理性能方面的有效性。
4. 探索应用前景：探讨“借助图像进行思考”范式在交互式系统、具身AI、AI for Science、医疗和医学、教育和培训等领域的应用潜力。
5. 指出未来方向：分析当前研究的局限性，提出未来研究的方向和挑战，为后续研究提供参考。

研究方法

本研究采用了一系列系统的方法来实现“借助图像进行思考”的多模态推理范式，主要包括以下三个阶段：

1. 外部工具探索（Tool-Driven Visual Exploration）

在这一阶段，模型通过调用预定义的外部视觉工具库来探索和理解视觉信息。具体方法包括：

• 提示工程（Prompt-Based Approaches）：通过设计特定的提示（prompt），引导模型调用外部视觉工具，如对象检测器、语义分割器等，以获取所需的视觉信息。
• 监督微调（Supervised Fine-Tuning, SFT）：在包含工具调用示例的数据集上对模型进行微调，使其学会根据任务需求选择合适的视觉工具。
• 强化学习（Reinforcement Learning, RL）：通过强化学习算法，使模型在与环境的交互中学会优化工具调用策略，以提高推理效率和准确性。

2. 程序化操作（Programmatic Visual Manipulation）

在这一阶段，模型通过生成可执行的代码来动态地操作和转换视觉信息，从而实现更复杂的推理任务。具体方法包括：

• 代码生成（Code Generation）：模型生成Python等编程语言的代码，调用计算机视觉库（如OpenCV、Pillow）或特定API来操作视觉信息。
• 逻辑操作（Logical Operations）：在生成的代码中嵌入条件判断、循环等逻辑结构，使模型能够根据推理需求动态地调整视觉操作流程。
• 复合操作（Composite Operations）：将多个基本的视觉操作和逻辑操作组合成更复杂的程序，以实现多步骤的推理任务。

3. 内在想象（Intrinsic Visual Imagination）

在这一阶段，模型通过内部生成视觉信息来模拟和预测未来的状态，从而实现更高层次的推理和规划。具体方法包括：

• 统一模型（Unified Models）：设计统一的模型架构，将视觉生成和推理能力集成在一个模型中，使模型能够直接生成并利用内部视觉表示进行推理。
• 显式视觉推理（Explicit Visual Reasoning）：通过生成中间视觉表示（如辅助线、高亮区域等）来外部化模型的推理过程，提高推理的可解释性和透明度。
• 多模态对话（Interleaved Multimodal Reasoning）：在推理过程中动态地交替生成文本和图像，实现文本和视觉信息的紧密交互和融合。

研究结果

通过一系列实验和评估，本研究验证了“借助图像进行思考”范式在提升多模态推理性能方面的有效性。具体结果包括：

1. 外部工具探索阶段：模型能够有效地调用外部视觉工具来获取和理解视觉信息，显著提高了在视觉问答、物体检测等任务上的表现。
2. 程序化操作阶段：模型通过生成可执行的代码来动态地操作和转换视觉信息，实现了更复杂的推理任务，如基于视觉的数学问题求解和动态场景模拟。
3. 内在想象阶段：模型能够内部生成视觉信息来模拟和预测未来的状态，从而在物理推理、长期规划等任务上表现出色。例如，在机器人操作任务中，模型能够通过想象物体的未来位置来规划最优的操作路径。
4. 应用前景：研究展示了“借助图像进行思考”范式在交互式系统、具身AI、AI for Science、医疗和医学、教育和培训等领域的广泛应用潜力。例如，在医疗领域，模型能够通过分析医学影像并生成内部视觉表示来辅助诊断和治疗规划。

研究局限

尽管本研究在“借助图像进行思考”范式方面取得了显著进展，但仍存在以下局限性：

1. 计算成本高：动态地生成和操作视觉信息需要大量的计算资源，导致模型的推理速度较慢，难以满足实时应用的需求。
2. 信息密度低：视觉信息的高密度特性使得模型在生成和操作过程中容易引入错误，这些错误会沿着推理链传播，影响最终的推理结果。
3. 跨任务泛化能力有限：模型在特定任务上训练得到的视觉操作和推理策略难以直接迁移到其他任务上，限制了模型的泛化能力。
4. 评估基准不完善：现有的多模态推理评估基准大多侧重于最终答案的准确性，而忽视了推理过程的质量和合理性，难以全面评估模型的推理能力。

未来研究方向

针对上述局限性，未来的研究可以从以下几个方面展开：

1. 提高计算效率：探索更高效的视觉信息生成和操作方法，如设计轻量级的视觉编码器和解码器、优化代码生成和执行流程等，以降低模型的计算成本。
2. 增强鲁棒性和可信度：研究如何提高模型在生成和操作视觉信息过程中的鲁棒性，减少错误的传播和影响；同时，开发新的评估方法和指标，以更全面地评估模型的推理能力和可信度。
3. 设计更通用的评估基准：构建包含多步骤、交互式任务的新评估基准，以更全面地评估模型在“借助图像进行思考”范式下的推理能力；同时，推动评估方法的标准化和统一化，以便不同研究之间的比较和借鉴。
4. 探索多模态融合的新方法：研究如何将视觉、语言、音频等多种模态的信息更紧密地融合在一起，实现更高效、更准确的多模态推理；同时，探索新的模型架构和训练方法，以提高模型的跨任务泛化能力。
5. 推动实际应用：将“借助图像进行思考”范式应用到实际场景中，如交互式系统、具身AI、AI for Science、医疗和医学、教育和培训等领域，通过实践验证其有效性和实用性；同时，根据实际应用需求不断优化和改进模型的设计和训练方法。