使用 Tokenizers 分割文本：深入了解与实践

在开发应用自然语言处理（NLP）模型时，一个常见的需求是将文本拆分为较小的块，通常称为“tokens”。现代语言模型对 tokens 的数量有限制，因此在处理长文本时，我们需要仔细计算 tokens 以避免超过限制。本文将介绍如何使用不同的 tokenizer 来分割文本，并提供实用代码示例。

技术背景介绍

自然语言处理中的 tokenization 是指将文本拆分为更小的、可管理的单元，称为 tokens。使用 tokenizer 帮助我们精确地计算文本中的 tokens 数量，从而确保文本块的大小在语言模型的限制之内。流行的 tokenizer 包括 tiktoken 和 spaCy 等。

核心原理解析

不同的 tokenizer 具有不同的拆分文本的方式。比如，tiktoken 是 OpenAI 提供的一个快速 BPE（Byte Pair Encoding） tokenizer，非常适合与 OpenAI 的模型一同使用。spaCy 则是一款开源的软件库，支持自然语言的高级处理。

代码实现演示

使用 tiktoken

tiktoken 提供了精确的 tokens 计算和文本拆分。下面是一个示例代码，展示如何使用 CharacterTextSplitter 和 TokenTextSplitter 来分割文本：

# 安装必要的包
%pip install --upgrade --quiet langchain-text-splitters tiktoken

from langchain_text_splitters import CharacterTextSplitter

# 读取长文本
with open("state_of_the_union.txt") as f:
    state_of_the_union = f.read()

# 使用 tiktoken 的 CharacterTextSplitter
text_splitter = CharacterTextSplitter.from_tiktoken_encoder(
    encoding_name="cl100k_base", chunk_size=100, chunk_overlap=0
)
texts = text_splitter.split_text(state_of_the_union)

print(texts[0])

使用 spaCy

spaCy 也提供了一种方便的方法来分割文本，基于字符计数：

%pip install --upgrade --quiet spacy

from langchain_text_splitters import SpacyTextSplitter

# 使用 spaCy 的 TextSplitter
text_splitter = SpacyTextSplitter(chunk_size=1000)
texts = text_splitter.split_text(state_of_the_union)
print(texts[0])

应用场景分析

• 长文本截断：在给定长度的约束下，将长文本分割成多个块，可以用于文本生成任务。
• 文本摘要：通过 tokens 控制，我们可以确保每个文本块在处理时不超过模型能力。
• 多语言处理：选择合适的 tokenizer 是处理多语言文本的关键，尤其是在处理韩文或中文等语言时。

实践建议

1. 选择与目标模型一致的 tokenizer。使用与模型一致的 tokenizer 可以确保 tokens 计数的准确性。
2. 对于非英语语种，考虑使用如 KoNLPy 的工具，以获得更好的分割效果。
3. 在分割长文本时，注意设置合适的 chunk 大小和重叠量，以便提高模型的上下文理解能力。

结束语：如果遇到问题欢迎在评论区交流。

—END—