深入探究LLamaFactory推理DeepSeek蒸馏模型时无法展示<think>思考过程的问题

文章目录

    • 问题背景
    • 初始测试与问题发现
      • LLaMA Factory测试结果
      • 对照实验:Ollama测试
    • 系统性排查与解决方案探索
      • 1. 尝试更换模板
      • 2. 深入研究官方文档
      • 3. 自定义模板实现
    • 优化界面展示:实现思考过程的可视化
      • 实现方法
      • 参数调整影响分析
        • 实验一
        • 实验二


进入大模型应用与实战专栏 | 查看更多专栏内容


问题背景

最近在本地环境中部署了DeepSeek-R1-Distill-Qwen-1.5B,即由Qwen2.5-Math-1.5B基础模型蒸馏出来的具有思维能力的模型。这是一个由Qwen2.5-Math-1.5B基础模型蒸馏出来的、据说具有增强思维能力的小型语言模型。然而,在实际使用过程中,我发现模型似乎并未展示出预期的思维过程,这引发了我对如何正确配置和优化这类模型的深入探究。

深入探究LLamaFactory推理DeepSeek蒸馏模型时无法展示<think>思考过程的问题_第1张图片

初始测试与问题发现

你可能感兴趣的:(DeepSeek,LLama-Factory,思维链)