LLaMA-Factory可视化界面微调chatglm2;LoRA训练微调模型 简单案例

参考:https://github.com/huggingface/peft
https://github.com/hiyouga/LLaMA-Factory
LLaMA-Factory可视化界面微调chatglm2;LoRA训练微调模型 简单案例_第1张图片

1、LLaMA-Factory可视化界面微调chatglm2

类似工具还有流萤,注意是做中文微调训练这块;来训练微调的chatglm2需要完整最新文件,不能是量化后的模型;另外测试下来显卡资源要大于20来G才能顺利,这边T4单卡训练中间显存不足,需要开启4bit量化才行
LLaMA-Factory可视化界面微调chatglm2;LoRA训练微调模型 简单案例_第2张图片

1)下载github代码
2)运行web界面

CUDA_VISIBLE_DEVICES=0 python src/train_web.py

LLaMA-Factory可视化界面微调chatglm2;LoRA训练微调模型 简单案例_第3张图片
3)chatglm2代码下载最新的:https://huggingface.co/THUDM/chatglm2-6b/tree/main
4)配置好参数即可点击开始训练
LLaMA-Factory可视化界面微调chatglm2;LoRA训练微调模型 简单案例_第4张图片
显卡使用:<

你可能感兴趣的:(深度学习,深度学习,神经网络,人工智能)