LLM填坑:训练自己的分词器-Tokenizer

说明:文本搬运以下文章,略微调整,有需求可参考原文。

paper : https://zhuanlan.zhihu.com/p/625715830 

code : Chatterbox/example/TrainTokenizersExample/train_tokenizers.py at main · enze5088/Chatterbox · GitHub

Huaggingface 教程: 

LLM填坑:训练自己的分词器-Tokenizer_第1张图片

你可能感兴趣的:(LLM,&,AIGC,&,VLP,人工智能)