大模型中token是什么？QA测试必须掌握的知识点

                           

模型理解和处理的基本单位就是Token，那模型处理的基本单位又是什么呢？

它可以是单词、字符、短语甚至图像片段、声音片段等。例如，一句话会被分割成多个 Token，每个标点符号也会被视为单独的 Token。

Token 的划分方式会影响模型对数据的理解和处理。例如，中英文的 Token 划分方式就存在差异。对于中文，由于存在多音字和词组的情况，Token 的划分需要更加细致。

大型语言模型(LLM)是不能真直接正理解原始文本的，相反，大模型只能识别被转化的token，文本被转换为称为token的数字表示形式，然后将这些token提供给模型进行处理。

比如我们最熟悉的那个下雨天的对联：

“下雨天留客天天留我不留”  对于不同的断句和符号分割，就会生成不同的token，不同的token组合就会是不同意思。

一个常用的token分析例子：今天天气很好  我们对这个句子进行Token化，则这个句子可以有以下几种Token序列：

基于空格的 Token 化：

css
复制代码
["今天", "天气", "很好"]
1
2
3
基于字的 Token 化：

css
复制代码
["今", "天", "天", "气"