Retrieval-augmented Multi-modal Chain-of-Thoughts Reasoning for Large Language Models

本文是LLM系列文章，针对《Retrieval-augmented Multi-modal Chain-of-Thoughts Reasoning for Large Language Models》的翻译。

摘要

大型语言模型（LLM）的发展引起了人们对思维链（CoT）方法的极大关注。，主要是因为它能够增强LLM在需要复杂推理的任务中的能力。此外，CoT方法的重要性扩展到LLM在多模态任务中的应用，如多模态问答。然而，由于多模态示例的固有复杂性，在LLM的多模态推理中选择最佳CoT演示示例的研究较少。在本文中，我们介绍了一种新的方法，通过使用检索机制根据跨模态相似性动态自动选择演示示例来解决这一挑战。该方法旨在通过向LLM提供更相关、更具信息性的示例来完善多模式场景中的CoT推理过程。此外，我们采用分层抽样方法，根据示范实例的类型将其分组，并分别从不同的组中检索实例，以促进示范实例的多样性。通过一系列实验，我们证明了我们的方法显著提高了LLM的性能，在多模态推理任务中取得了最先进的结果。具体来说，我们的方法在ScienceQA数据集上取得了重大进展。虽然我们基于ChatGPT的方法比Chameleon（ChatGPT）高2.74%，准确率为82.67%，但基于GPT4的方法比Chameleon（GPT-4）高0.89%，在相同设置下实现了87.43%的准确率。此外，我们的最佳性能显示，基于ChatGPT的模型比Chameleon增长6.05%，基于GPT-4的模型增长4.57%。此外，我们在ScienceQA数据集上对GPT-4V进行了早期深入评估，结果表明，GPT-4V的零样本功能显著超过了其纯文本功能，证明了GPT-4V系统的有效性和结合视觉上下文的重要性。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在本文中，我们提出了一种新的方法来解决为LLM的多模态推理选择合适的演示示例的挑战。通过将检索机制与LLM相结合，并强调文本和图像之间的模态连接，我们的方法旨在提高LLM在多模态思维链（CoT）推理中的功效。此外，在我们的方法中引入分层采样确保LLM能够接触到一组多样而全面的示范示例。在我们对ScienceQA数据集的实验中，我们的方法始终优于Chameleon等现有最先进的模型。这些经验结果验证了我们的假设，即将LLM与我们提出的定制检索机制相结合，可以显著提高多模态推理性能。随着CoT技术在NLP社区中的不断发展，我们的工作强调了有效的示范示例选择的重要性。未来的研究应侧重于改进检索过程，并将本研究中开发的方法扩展到其他多模态任务。这些任务可能包括大型语言模型（LLM）的输出包含多种模态的任务，如文本到图像和文本到视频的生成。此外，在专业领域的应用，如医学领域，提供了一个有希望的方向。同时，在越来越复杂的多模态LLM的发展中，特别是那些使用CoT推理的LLM，解决幻觉问题很重要。我们相信，我们的工作为这些未来的探索奠定了坚实的基础。