李沐《动手学深度学习》53:语言模型

文章目录

        • 时间机器(time machine)数据集
        • 自然语言统计
        • 读取长序列数据
          • 随机采样
          • 顺序分区

时间机器(time machine)数据集

“H. G. 威尔斯的《时间机器》是一部写于 19 世纪末的科幻小说。故事介绍了一位杰出的时间旅行者,他向一群持怀疑态度的朋友介绍了他关于时间和空间的革命性想法,讨论了与我们对时间的理解交织在一起的第四维度的概念。故事的开头部分,时间旅行者与他的客人们就他的时空理论展开了热烈的讨论。

自然语言统计
import random
import torch
from d2l import torch as d2l

tokens = d2l.tokenize(d2l.read_time_machine

你可能感兴趣的:(python深度学习入门,深度学习,语言模型,人工智能,算法,windows,数据库)