GPT研究

1. 分词

2. embedding

在大型语言模型（如GPT-3）中，“embedding”（嵌入）通常指的是词嵌入（Word Embeddings）或位置嵌入（Position Embeddings）。这些嵌入在模型内部用于表示输入文本的不同方面，以便模型能够理解和处理自然语言文本。

1. 词嵌入（Word Embeddings）：词嵌入是将自然语言中的单词映射到向量空间的技术。在大型语言模型中，每个单词都会被表示为一个固定长度的向量，这个向量编码了单词的语义信息。这使得模型能够理解单词之间的语义关系，从而更好地生成连贯的文本或解决自然语言处理任务。

2. 位置嵌入（Position Embeddings）：位置嵌入用于表示输入文本中单词的位置信息。因为大型语言模型是基于注意力机制的，它们需要知道单词在输入序列中的位置以正确处理语法和语义。位置嵌入是一种将位置信息编码成向量的方式，使得模型可以在考虑单词的同时考虑它们在句子中的位置。

这些嵌入向量通常是在模型的训练过程中学习得到的，模型会不断地调整这些向量以最优化其性能。嵌入在自然语言处理中扮演着关键的角色，因为它们有助于模型理解和表达文本的复杂信息。通过将单词和位置信息嵌入到连续向量空间中，大型语言模型可以更好地处理自然语言文本，实现各种文本生成和理解任务。

3. 向量数据库

---

LangChain 中文入门教程
基于LangChain和ChatGLM-6B等系列LLM的针对本地知识库的自动问答
B站教程