书生·浦语大模型--第四节课笔记--XTuner大模型单卡低成本微调

在这里插入图片描述

文章目录

  • Finetune简介
    • 指令跟随微调
    • 增量预训练微调
    • LoRA QLoRA
  • XTuner介绍
    • 快速上手
  • 8GB显卡玩转LLM
  • 动手实战环节

Finetune简介

增量预训练和指令跟随
书生·浦语大模型--第四节课笔记--XTuner大模型单卡低成本微调_第1张图片
通过指令微调获得instructed LLM
书生·浦语大模型--第四节课笔记--XTuner大模型单卡低成本微调_第2张图片

指令跟随微调

一问一答的方式进行
书生·浦语大模型--第四节课笔记--XTuner大模型单卡低成本微调_第3张图片
对话模板
书生·浦语大模型--第四节课笔记--XTuner大模型单卡低成本微调_第4张图片
计算损失
书生·浦语大模型--第四节课笔记--XTuner大模型单卡低成本微调_第5张图片

增量预训练微调

不需要问题只需要回答,都是陈述句。计算损失时和指令微调一样
书生·浦语大模型--第四节课笔记--XTuner大模型单卡低成本微调_第6张图片

LoRA QLoRA

不需要太大的显存开销。增加旁路分支Adapter。
书生·浦语大模型--第四节课笔记--XTuner大模型单卡低成本微调_第7张图片
比较:

  • 全参数微调:整个模型加载到显存中,所有模型的参数优化器也要加载到显存中
  • LoRA微调:模型也需要加载到显存中,但是参数优化器只需要LoRA部分
  • QLoRA微调:加载模型时就4bit量化加载,参数优化器还可以在CPU和GPU之间调度,显存满了可以在内存里跑
    书生·浦语大模型--第四节课笔记--XTuner大模型单卡低成本微调_第8张图片

XTuner介绍

书生·浦语大模型--第四节课笔记--XTuner大模型单卡低成本微调_第9张图片

快速上手

书生·浦语大模型--第四节课笔记--XTuner大模型单卡低成本微调_第10张图片
书生·浦语大模型--第四节课笔记--XTuner大模型单卡低成本微调_第11张图片
书生·浦语大模型--第四节课笔记--XTuner大模型单卡低成本微调_第12张图片

8GB显卡玩转LLM

动手实战环节

你可能感兴趣的:(InternLM大模型,笔记,chatgpt,机器学习,人工智能,语言模型)