XTuner 大模型单卡低成本微调实战

第四节课《XTuner 大模型单卡低成本微调实战》着重介绍了如何应用XTuner进行大模型的微调,以及两种微调模式:增量预训练和指令跟随。

  1. 记录与理解:概述课程中关于XTuner的介绍,包括它的特点,为何我们需要它,以及在模型微调过程中它如何使用。
    XTuner 大模型单卡低成本微调实战_第1张图片XTuner 大模型单卡低成本微调实战_第2张图片
    XTuner 大模型单卡低成本微调实战_第3张图片
    XTuner 大模型单卡低成本微调实战_第4张图片
  2. 环境准备:按照课程指引,完成环境和数据的准备工作,并试着遇到的问题和解决方案。
    XTuner 大模型单卡低成本微调实战_第5张图片
  3. 微调实践:使用XTuner和InternLM-Chat来微调一个个人小助手应用。记录并分析微调结果,包括对比微调前后的表现差异,以及不同的微调策略带来的影响。
    XTuner 大模型单卡低成本微调实战_第6张图片

你可能感兴趣的:(深度学习,人工智能)