多模态大模型（LMMs）与大语言模型（LLMs）的比较

前言

现在的大模型分为两大类：大语言模型（Large Language Models，简称LLMs）和多模态大模型（Large Multimodal Models，简称LMMs）。本文将从基础定义、输入数据、应用场景、训练过程这几方面讨论下两者的区别。

基础定义

1. LLMs (Large Language Models, 大型语言模型) - 深度学习的应用之一，是基于深度学习的大规模机器学习模型，通常由数十亿到数万亿个参数构成，专门设计用于处理自然语言处理任务。这类模型通过在大型文本语料库上进行训练，学会理解语言的结构、语义、语境和语用等方面。
2. LMMs（Large Multimodal Models，多模态大模型）是一类人工智能模型，它们能够处理和理解多种不同类型的数据输入，例如文本、图像、音频和视频。这些模型通过大规模的数据训练，学习如何联合理解和生成跨多种模式的信息

从定义看，多模态语言模型被视为朝向通用人工智能的下一个步骤。

关键能力的差异

• • LMMs：设计用来理解和处理多种类型的数据输入，包括文本、图像、音频、视频，有时还包括感觉数据等。它们的关键能力是整合并理解这些不同的数据格式。
  • LLMs：这些模型专门在处理和生成文本数据方面有专长。它们主要在大型文本语料库上进行训练，擅长在多种情境下理解和生成人类语言。它们不会内在地处理非文本数据，如图像或音频。

应用场景和任务的差异

• • LMMs：由于其多模态特性，这些模型可以应用于需要理解和整合不同类型数据信息的任务。例如，LMM可以分析新闻文章（文本）、相关照片（图像）和相关视频片段，以获得全面的理解。
  • LLMs：它们的应用集中在涉及文本的任务上，如撰写文章、翻译语言、回答问题、文档摘要和创造基于文本的内容。

训练过程上的差异

1. 数据收集和准备

• • LLMs：主要关注文本数据。数据收集包括从书籍、网站和其他书面来源收集大量文本。重点是语言的多样性和广度。
  • LMMs：除了文本数据，这些模型还需要图像、音频、视频等数据。数据收集更为复杂，因为它涉及内容的多样性以及不同的格式和模态。在LMM中，数据注释和规范化是至关重要的，以有意义地对齐这些不同类型的数据。

1. 模型架构设计

• • LLMs：通常使用适合处理序列数据（文本）的架构，如变压器（transformers）。重点是理解和生成人类语言。
  • LMMs：LMM的架构更为复杂，因为它们需要整合不同类型的数据输入。这通常涉及到组合不同类型的神经网络，例如用于图像的CNN（卷积神经网络）和用于文本的RNN（递归神经网络）或变压器，以及有效融合这些模态的机制。

1. 预训练

• • LLMs：预训练包括使用大型文本语料库。常见的技术包括掩码语言建模，模型预测句子中缺失的单词。
  • LMMs：预训练更为多样化，因为它涉及不仅是文本，还有其他模态。模型可能学习将文本与图像相关联（例如，给图像加标题）或理解视频中的序列。

1. 微调

• • LLMs：微调使用针对特定任务（如问答或翻译）优化的更专业的文本数据集进行。
  • LMMs：微调不仅涉及每种模态的专业数据集，还包括帮助模型学习跨模态关系的数据集。由于LMM设计用于多种任务，因此它们的任务特定调整更为复杂。

1. 评估和迭代

• • LLMs：评估指标集中在语言理解和生成任务上，如流利度、连贯性和相关性。
  • LMMs：这些模型在更广泛的指标上进行评估，因为它们需要在多个领域都有所精通。这包括图像识别准确率、音频处理质量，以及模型整合跨模态信息的能力。