玩转大模型的关键：GPU 显存如何估算？一篇文章讲明白

在日常项目开展过程中，对于大模型的私有化部署同样存在切实需求。基于此，我花费了一定时间，深入探究模型使用与GPU显卡配置之间的内在联系，并将研究所得整理记录下来。

GPU显存容量的大小，在实际应用中起着关键作用。它不仅决定了能够运行模型的规模大小、运行速度（会对批处理规模以及序列长度产生影响），还关乎训练过程能否稳定进行。

那么，该如何对其进行评估呢？这需要综合考量以下几个方面的因素：

1、模型参数本身

最基础的显存占用来自于模型参数本身。这部分的计算相对直接：

VRAM_参数 ≈ 模型参数总量 × 单个参数所需字节数。

FP32: 4 字节

FP16 / BF16: 2 字节

INT8: 1 字节

INT8: 1 字节

INT4: 0.5 字节

不同的量化方案会将模型参数进行压缩。

以一个 70 亿参数的 Llama 3 8B 模型为例，若采用 FP16 加载，

7B × 2 bytes ≈ 14 GB

2、激活值（Activations）& KV Cache

这是模型前向传播时的中间计算结果。其大小与批次大小 (Batch Size)、序列长度 (Sequence Length)、模型隐藏维度 (Hidden Dimension) 和 层数 (Number of Layers) 强相关。

在模型生成文本（自回归）时，为加速计算，需要缓存过去每个 Transformer 层的 Key 和 Value 状态。这部分显存消耗巨大，会随着序列长度和批次大小线性增长。

VRAM_KV_Cache (近似) ∝ 2 × 层数 × 隐藏维度 × 序列长度 × 批次大小 × 单值字节数

当面对模型训练或SFT的场景时，还有以下两大显存消耗者需要考虑。

3、梯度 (Gradients)

其一是梯度（Gradients）。

在反向传播过程中，系统需要为每一个可训练的参数计算梯度值，以便更新模型权重。

VRAM_梯度 ≈ 可训练参数量 × 训练精度对应的字节数

通常，梯度的精度与训练时模型参数的精度保持一致，例如，若使用 FP16 进行训练，梯度也占用 FP16 的空间。

4、优化器状态（Optimizer States）

其二是优化器状态（Optimizer States），这是训练时的“显存大户”。 优化器（如 Adam, AdamW）需要为每个可训练参数维护状态信息（如动量、方差）。

更关键的是，这些状态值往往以 FP32（4字节）精度存储，即使模型主体是使用 FP16 或 BF16 进行训练。AdamW 对每个可训练参数，常需 2 × 4 = 8 字节额外存储。

全量微调 7B 模型，仅此项就可能需

7B × 8 bytes = 56 GB

使用 8-bit 优化器可大幅降低此项。

1、推理/训练场景下GPU显存估算

推理

总推理 VRAM ≈ VRAM_参数 + VRAM_激活器 + VRAM_kv_cache + VRAM_开销

以一个Llama 3 8B (FP16) 推理为例:

模型参数：8B 参数 * 2 字节/参数 = 16 GB
激活和 KV 缓存：高度依赖于序列长度和批次大小。对于批次大小为 4，序列长度为 2048： 假设 Hidden Dim = 4096，Num Layers = 32，KV Cache (FP16):2×32×4096×2048×4×2 bytes≈4.3 GB
开销： 框架、CUDA 内核，估计为 1-2 GB

2、训练

全量微调

VRAM ≈ VRAM_params + VRAM_gradients + VRAM_optimizer + VRAM_activations + VRAM_overhead

Llama 3 8B (FP16), AdamW (FP32 状态)

1、模型参数 (FP16)： 80 亿参数 * 2 字节/参数 = 16 GB

2、梯度（FP16）：8B 参数 * 2 字节/参数 = 16 GB优化器状态（AdamW，FP32）：

2 个状态/参数 * 8B 参数 * 4 字节/状态 = 64 GB 激活值：很大程度上取决于批次大小和序列长度。可能为 10-30 GB 或更多（高度近似）。

3、额外开销： 估计 1-2 GB。

4、估计总计： 16 + 16 + 64 + (10 到 30) + (1 到 2) ≈ 107 - 128 GB

PEFT微调

使用LoRA等技术进行微调，通过冻结基础模型参数并仅训练小型适配器层，可以显著降低VRAM 需求。

带有 LoRA 的 Llama 3 8B（Rank=8，Alpha=16）**
**

1、基础模型参数（冻结，例如，FP16）：16 GB

2、LoRA 参数（可训练，BF16）：通常非常小，例如，约 1000 万到 5000 万个参数。假设 2000 万个参数 * 2 字节/参数 ≈ 40 MB（相对于基础模型可以忽略不计）。

3、LoRA 梯度 (BF16)： 20M 参数 * 2 字节/参数 ≈ 40 MB。4、4、LoRA 优化器状态 (AdamW, FP32): 2 * 20M 参数 * 4 字节/状态 ≈ 160 MB。

5、激活值： 仍然很重要，类似于推理，但在通过适配器的正向/反向传递期间为完整模型计算。估计 10-30 GB（取决于批大小/序列长度）。

6、开销： 1-2 GB。

7、合计RAM(LoRA) ：16 GB (Base) + ~0.24 GB (LoRA Params/Grads/Optim) + (10 到 30) GB (Activations) + (1 到 2) GB (Overhead) ≈ 27 - 48 GB

不同微调方法对RAM的需求

用于GPU RAM的计算器

国外有个APP，做了一个在线计算显存的计算器，可以试下。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】