NVIDIA 实现通义千问 Qwen3 的生产级应用集成和部署【2025年 5月 2日】

阿里巴巴近期发布了其开源的混合推理大语言模型（LLM）通义千问 Qwen3，此次 Qwen3 开源模型系列包含两款混合专家模型 (MoE) 235B-A22B（总参数 2,350 亿，激活参数 220 亿）和 30B-A3B，以及六款稠密（Dense）模型 0.6B、1.7B、4B、8B、14B、32B。

现在，开发者能够基于 NVIDIA GPU，使用 NVIDIA TensorRT-LLM、Ollama、SGLang、vLLM 等推理框架高效集成和部署 Qwen3 模型，从而实现极快的词元 (token) 生成，以及生产级别的应用研发。

本文提供使用 Qwen3 系列模型的最佳实践，我们会展示如何使用上述框架来部署模型实现高效推理。开发者可以根据他们的应用场景需求来选择合适的框架，例如高吞吐量、低延迟、或是 GPU 内存占用（GPU footprint）。

Qwen3 模型

Qwen3 是中国首个混合推理模型，在 AIME、LiveCodeBench、ArenaHard、BFCL 等权威评测集上均获得出色的表现。Qwen3 提供的系列开源稠密和 MoE 模型在推理、指令遵循、Agent 能力、多语言支持等方面均大幅增强，是全球领先的开源模型。（信息来源于阿里巴巴官方微信公众号）。

大语言模型的推