LLaMA Factory 微调与量化模型并部署至 Ollama

以下是使用LLaMA Factory进行模型微调与量化，并部署至Ollama的分步指南：

一、环境准备

1. 安装LLaMA Factory

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -r requirements.txt

1. 准备数据集 建议使用JSON格式：

[
  {"instruction": "解释量子力学", "input": "", "output": "..."},
  {"instruction": "翻译成法语", "input": "你好", "output": "Bonjour"}
]

二、模型微调

1. 基础配置（finetune.sh）

CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \
    --model_name_or_path meta-llama/Llama-2-7b-hf \
    --dataset_dir ./data \
    --output_dir ./output \
    --bf16 true \
    --num_train_epochs 3 \
    --per_device_train_batch_size 4 \
    --learning_rate 2e-5 \
    --lora_r 8

1. 关键参数说明：

• lora_r: LoRA秩维度（建议8-64）
• learning_rate: 学习率范围(1e-5 ~5e-5)
• per_device_train_batch_size: 根据显存调整

三、模型量化

1. 使用llama.cpp进行GGUF量化：

# 转换HF格式为GGUF
python3 llama.cpp/convert.py ./output --vocab-type bpe

# 4-bit量化
./llama.cpp/quantize ./output/ggml-model-f16.gguf ./output/ggml-model-q4_0.gguf q4_0

1. 常用量化类型：

• q4_0: 4-bit整数（高压缩）
• q5_0: 5-bit整数（平衡选项）
• q8_0: 8-bit浮点（高精度）

四、Ollama部署

1. 创建Modelfile

FROM ./ggml-model-q4_0.gguf
PARAMETER temperature 0.7
PARAMETER stop "<|im_end|>"

1. 部署模型

ollama create mymodel -f Modelfile
ollama run mymodel

五、验证部署

curl http://localhost:11434/api/generate -d '{
  "model": "mymodel",
  "prompt": "解释相对论",
  "temperature": 0.5
}'

常见问题排查：

1. 显存不足时尝试：

   • 降低量化位数（q4_0代替q5_0）
   • 减小批次大小
   • 使用--n_gpu_layers 20参数

2. 输出异常时检查：

   • 温度参数设置（0.1-1.0）
   • 停止符是否正确配置
   • 原始微调数据质量

3. 性能优化建议： $$ \text{推理速度} \propto \frac{\text{参数量}}{\text{量化位数}} \times \text{硬件性能} $$ 建议在7B参数量级使用q4_0量化，13B以上使用q5_0量化保持精度平衡。