2. 从HuggingFace下载千问模型、数据、微调并运行

视频链接（1）

3. 从HuggingFace下载千问模型、数据、微调并运行（上）_哔哩哔哩_bilibili在本课程中，我们将带你下载并本地运行一个大模型，进行模型的微调训练等, 视频播放量 525、弹幕量 0、点赞数 4、投硬币枚数 2、收藏人数 11、转发人数 2, 视频作者 jiangliuer3264, 作者简介 ，相关视频：3. 从HuggingFace下载千问模型、数据、微调并运行（下），6.租赁 GPU 服务器并微调 Llama-Factory 模型，5. 使用数据集微调CodeLlama模型，使其返回正确的sql，c#，winform+SQL server 开发简单的外卖系统，1. 理解大模型，DeepSeek R1本地部署 DeepSeek Api接口调用 DeepSeek RAG知识库工作流系列教程，当你在强化学习环境中不小心改下参数belike，4. 大模型推理功能调用外部工具，根据执行结果返回用户文案——OpenAI FunctionCalling 案例详解，如何快速微调DeepSeek-R1-8b模型，并且可视化训练过程，赶紧行动起来。，刚去试了Tripo的新算法：AI建模水平终于超过我这个业余建模师了https://www.bilibili.com/video/BV1f5NmeiECN/视频链接（2）

3. 从HuggingFace下载千问模型、数据、微调并运行（下）_哔哩哔哩_bilibili3. 从HuggingFace下载千问模型、数据、微调并运行（下）, 视频播放量 490、弹幕量 0、点赞数 1、投硬币枚数 0、收藏人数 6、转发人数 1, 视频作者 jiangliuer3264, 作者简介 ，相关视频：6.租赁 GPU 服务器并微调 Llama-Factory 模型，3. 从HuggingFace下载千问模型、数据、微调并运行（上），5. 使用数据集微调CodeLlama模型，使其返回正确的sql，【墙裂推荐】Hugging Face 模型微调训练之基于BERT的中文评价情感分析！！！华为大佬带你从零详解BERT模型，草履虫都学的会！，大模型微调实战营-应用篇【资料完整】，免费微调DeepSeek-R1-8B为专业的AI医生，【DeepSeek教程】清华大佬198小时讲完的DeepSeek教程，全程干货无废话！B站最用心的人工智能零基础系统教程，7 天掌握 国产AI，Unsloth微调DeepSeek-R1蒸馏模型 - 构建医疗专家模型，1. 理解大模型，7. 基于DeepSeek和智谱清言实现RAG问答https://www.bilibili.com/video/BV1E5NmeqEyb/

硬件资源说明

本教程基于GPU 3090的服务器

资源类型	型号	核心指标
CPU	Intel(R) Xeon(R) Bronze 3204 CPU @ 1.90GHz	12核
内存	/	125Gi
GPU	NVIDIA GeForce RTX 3090	24G显存

注意：接下来的部分命令需要使用科学上网，需要事先配置好。

安装docker

参考docker的官方文档：Install | Docker Docs

这里简单列举一下常见系统的安装命令

对于ubuntu系统：

sudo apt install docker.io
sudo systemctl enable docker

对于centos系统：

sudo yum install -y yum-utils
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
sudo yum install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
sudo systemctl start docker
sudo systemctl enable docker

这里默认安装的docker版本为24.0.7，docker版本的差异不会影响整个测试的流程，不过还是建议使用和本教程相同的版本

安装NVIDIA Container Toolkit

安装该工具主要是为了docker可以挂载Nvidia GPU设备。

参考：Installing the NVIDIA Container Toolkit — NVIDIA Container Toolkit 1.16.2 documentation

安装方式有很多，这里仅列举比较常用的ubuntu和centos安装方式：

在线安装

对于ubuntu系统

sudo apt install c