【RAG实战】语言模型基础

语言模型赋予了计算机理解和生成人类语言的能力。它结合了统计学原理和深度神经网络技术，通过对大量的样本数据进行复杂的概率分布分析来学习语言结构的内在模式和相关性。具体地，语言模型可根据上下文中已出现的词序列，使用概率推断来预测接下来可能出现的词汇。接下来主要介绍一些基础的语言模型，如Transformer、自动编码器、自回归模型等。

2.1 Transformer

Transformer模型是深度学习，尤其是自然语言处理（NLP）领域的一次重大突破。

从概念上看，Transformer模型可以被视为一个黑盒子，以极其翻译任务为例，它能够接收某种语言的输入文本，并输出对应语言的翻译版本

从内部结构来看，Transformer由编码器（encoder）和解码器（decoder）量大部分构成，这两部分在原始的"Attention is all you need"论文中包含6个模块，但在实际应用中，这个数字可以根据具体任务进行调整。

以机器翻译为例，Transformer的工作流程大致分为以下几个步骤：