unsloth

24GB GPU 中的 DeepSeek R1：Unsloth AI 针对 671B 参数模型进行动态量化

简介最初的DeepSeekR1是一个拥有6710亿个参数的语言模型，UnslothAI团队对其进行了动态量化，将模型大小减少了80%（从720GB减少到131GB），同时保持了强大的性能。当添加模型卸载功能时，该模型可以在24GBVRAM下以低令牌/秒的推理速度运行。推荐文章《本地构建AI智能分析助手之01快速安装，使用PandasAI和Ollama进行数据分析，用自然语言向你公司的数据提问为决策

知识大胖·2025-07-12 11:21

2025-微调 Qwen3 实战教程

一、概述unsloth微调Qwen3模型提供显著优势：训练速度提高2倍，VRAM使用减少70%，支持8倍长的上下文。Qwen3–30B-A3B仅需17.5GBVRAM即可运行。

·2025-06-23 12:17

五大主流大模型推理引擎深度解析：llama.cpp、vLLM、SGLang、DeepSpeed和Unsloth的终极选择指南

在人工智能的竞技场上，大模型推理框架就像是为超级跑车精心调校的引擎系统——选对了能让你的AI应用一骑绝尘，选错了可能连"停车场"都开不出去。这些框架的核心价值在于将训练好的"大脑"转化为实际可用的"肌肉记忆"，而选择标准则需要像职业赛车手挑选装备般精准。在人工智能的竞技场上，大模型推理框架就像是为超级跑车精心调校的引擎系统——选对了能让你的AI应用一骑绝尘，选错了可能连"停车场"都开不出去。这些框

我就是全世界·2025-06-07 18:37

LLaMA-Factory环境安装-重点总结

只不过，在需要推理加速时，UI界面上，给出的选项所支持的FlashAttention-2和Unsloth，不好实现。

丁兆海1991·2025-06-07 12:01

unsloth 微调 Qwen3 实战教程来了！

unsloth微调Qwen3模型提供显著优势：训练速度提高2倍，VRAM使用减少70%，支持8倍长的上下文。Qwen3–30B-A3B仅需17.5GBVRAM即可运行。

Python之栈·2025-06-06 22:23

unsloth微调Qwen3模型实战

一、前言Unsloth是一个专注于优化大型语言模型（LLMs）微调效率的开源框架，旨在显著提升训练速度并降低显存占用，使得在资源有限的硬件（如单张消费级GPU）上高效微调大模型成为可能。

韭菜盖饭·2025-06-06 22:19

CAMEL的特色功能——数据合成

CAMEL和Unsloth是一对出色的搭档。在此章节中，我们将两者结合起来，以训练模型精通页面上的内容。您将学习如何使用CAMEL进行数据生

兔兔爱学习兔兔爱学习·2025-05-24 02:16

单卡4090微调大模型 DeepSeek-R1-32B

之前文章同样的方法，也可以在24G显存的单卡4090上微调训练deepseek-ai/DeepSeek-R1-Distill-Qwen-32B；即使该模型的权重文件大小已经达到62G，这是因为unsloth

大模型与自然语言处理·2025-04-14 04:35

LLaMA-Factory双卡4090微调DeepSeek-R1-Distill-Qwen-14B医学领域

unsloth单卡4090微调DeepSeek-R1-Distill-Qwen-14B医学领域后，跑通一下多卡微调。

openownworld·2025-04-13 08:54

用Python微调DeepSeek R1

Python库和框架微调大语言模型需要用到以下Python库和框架：unsloth：这个库可太厉害了，它能让像Llama-3、Mistral、Phi-4和Gemma2这些大语言模型的微调速度提高2倍，内存使用减少

爱喝白开水a·2025-04-05 12:00

使用unsloth进行grpo训练报错及解决方法

说明前段时间用unsloth尝试了grpo训练，简单复现了deepseek用到的强化学习训练方法。期间遇到了很多问题，简单记录下解决办法。

yuanlulu·2025-04-01 06:32

Unsloth 库和Hugging Face Transformers 库对比使用

Unsloth库：Unsloth是一个专注于加速大语言模型（LLM）微调的开源工具。它通过优化计算步骤和GPU内核，显著提升训练速度并减少内存使用。

背太阳的牧羊人·2025-03-26 21:17

Deepseek-R1-Distill-Llama-8B + Unsloth 中文医疗数据微调实战

内容参考至博客与Bin_Nong1.环境搭建主要依赖的库(我的版本)：torch==2.5.1unsloth==2025.2.15trl==0.15.2transformers==4.49.0datasets

LuckyAnJo·2025-03-22 08:47

DeepSeek R1-32B医疗大模型的完整微调实战分析（全码版）

32B微调实战指南├──1.环境准备│├──1.1硬件配置││├─全参数微调：4*A10080GB││└─LoRA微调：单卡24GB│├──1.2软件依赖││├─PyTorch2.1.2+CUDA││└─Unsloth

Allen_LVyingbo·2025-03-09 11:33

LLMs之Llama-3：基于Colab平台(免费T4-GPU)利用LLaMA-Factory的GUI界面(底层采用unsloth优化框架【加速训练5~30倍+减少50%的内存占用】)对llama-3

LLMs之Llama-3：基于Colab平台(免费T4-GPU)利用LLaMA-Factory的GUI界面(底层采用unsloth优化框架【加速训练5~30倍+减少50%的内存占用】)对llama-3-

一个处女座的程序猿·2025-03-07 09:41

unsloth+Colab+DeepSeek-R1-Distill-Llama-8B轻松上手

unsloth+Colab+DeepSeek-R1-Distill_哔哩哔哩_bilibili简介：DeepSeek-R1-Distill-Llama-8B是一个基于Llama架构的8B参数语言模型，经过深度蒸馏

AI超元域·2025-03-04 07:08

unsloth+Colab轻松上手

简介：DeepSeek-R1-Distill-Llama-8B是一个基于Llama架构的8B参数语言模型，经过深度蒸馏（distillation）处理，旨在提高推理效率和精度。通过蒸馏技术，模型在保持较高性能的同时，减少了计算资源的消耗，特别适合在资源受限的环境中应用。该模型经过优化，可用于多种自然语言处理任务，如文本生成、情感分析、问答系统等。DeepSeek-R1-Distill-Llama-

X.Cristiano·2025-03-02 23:28

谁说消费级硬件不能玩 DeepSeek - R1 微调？手把手教你进阶AI玩家

让我们来探索如何使用LoRA（低秩自适应）和Unsloth来优化DeepSeek-R1的微调，实现更快、更具成本效益的训练。

硅基创想家·2025-02-28 22:51

LLM Course系列：使用 Unsloth 高效地微调 Llama 3.1

最近发布的Llama3.1为模型提供了令人难以置信的性能水平，缩小了闭源模型和开放权重模型之间的差距。你无需使用GPT-4o和Claude3.5等冻结的通用LLM，而是可以根据特定用例对Llama3.1进行微调，以更低的成本实现更好的性能和可定制性。在本文中，我们将全面概述监督微调。我们将将其与即时工程进行比较，以了解何时使用它有意义，详细介绍主要技术及其优缺点，并介绍主要概念，例如LoRA超参数

橙狮科技·2025-02-22 04:36

微调大模型【已成功】

pipinstall"unsloth[colab-new]@git+https://github.com/unslothai/unsloth.git"#WehavetocheckwhichTorchversionforXformers

捏塔·2025-02-09 18:20

实战LLM强化学习——使用GRPO（DeepSeek R1出圈算法）

——关于使用Unsloth库、LoRa微调及GRPOTrainer自定义奖励函数实现“只输出10个英语单词”的探索为什么要进行“只输出10个英文单词”的极端尝试？

FF-Studio·2025-01-30 19:54

开源模型应用落地-qwen2-7b-instruct-LoRA微调-unsloth（让微调起飞）-单机单卡-V100（十七）

一、前言本篇文章将在v100单卡服务器上，使用unsloth去高效微调QWen2系列模型，通过阅读本文，您将能够更好地掌握这些关键技术，理解其中的关键技术要点，并应用于自己的项目中。

开源技术探险家·2024-09-14 13:28

用 Unsloth 微调 LLaMA 3 8B

用Unsloth微调LLaMA38B今年4月份，Meta公司发布了功能强大的大型语言模型（LLM）Llama-3，为从事各种NLP任务的开发人员提供了功能强大可以在普通机器上运行的开源LLM。

liugddx·2024-08-25 08:05

推荐频道