transformer 中 tokenizer.tokenize() 和 tokenizer.encoder()

tokenizer.tokenize() ：

使用 tokenize() 函数对文本进行 tokenization（分词）之后，返回的分词的 token 词。

tokenizer.encoder()：

encode() 函数对 文本 进行 tokenization 并将 token 用相应的 token id 表示。