部署大型语言模型（LLM）时究竟需要多少GPU显存？来看看这几个例子
引言
部署大型语言模型（LLM）时究竟需要多少GPU显存？本文将进行一次简单测算。
如何计算
算法1
可以用一个简单的公式来计算显存占用（单位GB）：
参数说明如下：
| 符号 | 含义 |
|---|---|
M |
所需的 GPU 显存，以 GB 为单位 |
P |
模型的参数数量，例如 7B 模型有 70 亿个参数 |
4B |
每个参数占用 4 字节（float32） |
32 |
4 字节等于 32 位 |
Q |
加载模型时使用的位数，例如 16 位、8 位或 4 位 |
1.2 |
表示额外 20% 的显存开销，用于加载其他内容，粗略估计也可以不加这个系数 |
从另一个角度
不同量化精度下显存占用计算方法。 模型的参数量决定了其基础大小，而量化精度（如FP16、INT8、INT4）则影响每个参数所占用的存储空间。通过降低量化精度，可以显著减少模型的显存和内存占用，但可能会对模型性能产生一定影响。以下是不同量化精度下，每个参数的存储需求：
-
FP16（16位浮点） ：每个参数占用 2 字节。
-
INT8（8位整数） ：每个参数占用 1 字节。
-
INT4（4位整数） ：每个参数占用 0.5 字节。
从这个角度来看算法1中的公式，其实可以写成：
其中 P 表示参数量，(Q / 32) *4表示量化之后每个参数占用的字节数。这种方式其实会更好理解。
示例
示例1：部署 Llama 70B 所需的 GPU 显存
我们以 Llama 70B 模型为例，假设使用 16 位精度加载。
模型参数数量为 70B（即 700 亿个参数）。
计算如下：
需要 168 GB 显存。
也就是说，一块 NVIDIA A100 80GB 显然不够，但使用 2 块 A100 80GB 可以满足需求（在 16 位精度下部署 Llama 2 70B）。
如何进一步减少 Llama 2 70B 的 GPU 显存占用？
量化（Quantization） 是一种减少显存占用的方法。它通过将模型参数从浮点数（如 FP32）转换为低位整数（如 int8），从而显著减少内存和计算资源的需求。
这使得模型可以更高效地部署，尤其适合资源受限的设备。但需要注意的是，精度降低可能会影响模型表现，因此应用时需权衡。
通常，8 位量化可实现与 16 位相近的性能，而 4 位量化可能会对模型性能产生明显影响。
示例：使用 4 位量化部署 Llama 2 70B
我们再次用公式计算：
仅需约 42GB 显存。
这意味着你可以使用 两块 L4 24GB GPU 来部署 Llama 2 70B（使用 4 位量化）。
示例2：部署DeepSeek R1
官方开源的https://huggingface.co/deepseek-ai/DeepSeek-R1 模型参数量为 671B，BF16数据格式。 可以大概估计显存占用(暂时忽略1.2系数)：
加载满血版R1 需要 1342 GB 显存。需要>16张A100-80GB。
普通人如何抓住AI大模型的风口？
领取方式在文末
为什么要学习大模型？
目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。
目前，开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景，其中，应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。
随着AI大模型技术的迅速发展，相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业：
人工智能大潮已来，不加入就可能被淘汰。如果你是技术人，尤其是互联网从业者，现在就开始学习AI大模型技术，真的是给你的人生一个重要建议！
最后
如果你真的想学习大模型，请不要去网上找那些零零碎碎的教程，真的很难学懂！你可以根据我这个学习路线和系统资料，制定一套学习计划，只要你肯花时间沉下心去学习，它们一定能帮到你！
如何学习AI大模型？
作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
一、全套AGI大模型学习路线
AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！
二、640套AI大模型报告合集
这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型商业化落地方案
作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。