deepseek本地部署需要多少显卡资源

华为昇腾环境（MindIE）

参考资料： https://modelers.cn/models/MindIE/deepseekv3

部署DeepSeek-V3、R1模型浮点权重至少需要4台Atlas 800I A2（8x64G）服务器，W8A8量化权重至少需要2台Atlas 800I A2（8x64G服务器）

在昇腾上量化deepsee模型可参考：https://gitee.com/ascend/msit/tree/br_noncom_MindStudio_8.0.0_POC_20251231/msmodelslim/example/DeepSeek

上述方法可将deepseek量化为W8A8或者W8A16模型。

SGlang本地部署

参考资料：https://github.com/sgl-project/sglang/tree/main/benchmark/deepseek_v3

使用英伟达显卡，本地部署大概需要8 x H200 GPUs,总共1128GB显存。H20或者A100,需要大该2个8卡的节点。
使用AMD显卡，至少需要8x MI300X GPUs.

Ollama部署量化模型

参考资料：https://huggingface.co/unsloth/DeepSeek-R1-GGUF

这里从1.5到8bit的模型都有，体积小了很多，可以单机多卡部署了。2bit大概要200+GB的显存。