从零开始构建一个大语言模型-第七章第一节

第七章目录

7.1 指令微调简介
7.2 为有监督的指令微调准备数据集
7.3 将数据整理成训练批次
7.4 为指令数据集创建数 据加载器
7.5 加载预训练的大语言模型
7.6 在指令数 据上对大语言模型进行微调
7.7 提取并保存回复
7.8 评估微调后的大语言模型
7.9 结论

本章内容涵盖

大语言模型的指令微调过程 准备用于有监督 指令微调的数据集 将指令数据整理成训练批次 提取大语言模型生成的指令响应以供评估

此前,我们实现了大语言模型(LLM)架构,进行了预训练,并将外部的预训练权 重导入到我们的模型中。然后,我们专注于针对一项特定的分类任务对大语言模型 进行微调:区分垃圾短信和非垃圾短信。现在,我们将实现对大语言模型进行微调 以遵循人类指令的过程,如图7.1所示。指令微调是开发用于聊天机器人应用、个人 助理及其他对话任务的大语言模型背后的主要技术之一。
从零开始构建一个大语言模型-第七章第一节_第1张图片

图7.1 对大语言模型进行编码的三个主要阶段。本章重点关注第三阶段的步骤9:对预训练的大语言模型进行微调 以使其遵循人类指令。

图7.1展示了微调大语言模型(LLM)的两种主要方式:用于分类的微调(步骤8)和 对大语言模型进行微调以遵循指令(步骤9)。我们在第6章实现了步骤8。现在我们 将使用一个instruction dataset对大语言模型进行微调。

7.1 指令微调简介

我们现在知道,对大语言模型进行预训练

你可能感兴趣的:(从零开始构建一个大语言模型,语言模型,人工智能,自然语言处理,机器学习,transformer)