大模型学习笔记03——模型架构

大模型学习笔记03——模型架构

1、大模型概括

根据输入需求的语言描述(Prompt)生成符合需求的结果(completion)
大模型构建:

  1. 分词(Tokenization):即如何将一个字符串拆分成多个词元。
  2. 模型架构(Model architecture):Transformer架构

2、分词

词元(token)一般在NLP(自然语言处理)中来说,通常指的是一个文本序列中的最小单元,可以是单词、标点符号、数字、符号或其他类型的语言元素。通常,对于NLP任务,文本序列会被分解为一系列的tokens,以便进行分析、理解或处理。在英文中一个"token"可以是一个单词,也可以是一个标点符号。在中文中,通常以字或词作为token。
几种分词方式:

  1. 基于空格的分词
  2. Byte pair encoding(BPE):将每个字符作为词元,并组合经常共同出现的词元。通过使用字符编码进行分词,可以适用于多语言环境,减少低频词汇,提高模型的泛化能力
  3. Unigram model(SentencePiece):定义一个目标函数来捕捉一个好的分词的特征,这种基于目标函数的分词模型可以适应更好分词场景

什么样的是好的分词:

  • 词元不要太多,容易变得难以建模
  • 词元不要太少,单词之间容易无法共享参数
  • 每个词元应该是一个在语言或统计上有意义的单位

3、模型架构

1. endocer-only架构

  • 以BERT为代表,语言模型生成上下文向量表征,但不能直接用于生成文本
  • 常用于分类任务(自然语言理解任务)
  • 该架构的优势是对于文本的上下文信息有更好的理解

2. decoder-only架构

  • 以GPT为代表的自回归语言模型
  • 其优点为能够自然的生成文本
  • 缺点是上下文向量表征只能单向地依赖左侧上下文

3. encoder-decoder架构

  • 优点是上下文向量表征可以双向依赖左右上下文,自由的生成文本
  • 缺点是需要更多的特定训练目标

学习内容地址:添加链接描述

你可能感兴趣的:(大模型读书笔记,学习,笔记)