垂类大模型微调(二):使用LLaMA-Factory

垂类大模型微调(二):使用LLaMA-Factory_第1张图片

       上一篇博文和大家一起安装了LLaMA-Factory工具,并下载了大模型在上面进行了简单的加载和推理,今天尝试通过LoRa技术对大模型进行微调;

一、训练集准备

1.1 介绍训练集结构

       这里演示对Qwen2.5-0.5B-Instruct-GPTQ-Int4模型进行LoRA微调, 大家可以根据垂类大模型微调(一)从魔塔中下载对应模型;目前该工具支持指令监督微调( Alpaca 格式)和多轮对话微调(

你可能感兴趣的:(从零到亿大模型微调,llama)