通过vLLM部署LLM模型到生产环境中

1 使用 vLLM 部署模型

本地部署模型主要包含下载模型、编写模型加载代码和发布为支持API访问的应用服务这三个步骤。

这个过程通常伴随较高的人工部署成本，vLLM可以用来简化这一流程。它是一个专为大模型推理设计的开源框架，能够以简单的命令行参数快速部署模型，并通过内存优化和缓存策略提升推理速度和支持高并发请求。

本课程将使用vLLM加载模型并启动模型服务。

该服务提供的HTTP接口兼容OpenAI API，可以通过调用HTTP接口，如/v1/chat/completions，让你快速体验大模型的推理能力。

2 部署过程

2.1 准备GPU环境

确保在GPU环境下执行模型部署操作。

2.2 安装vLLM依赖项

# 此外，还需要安装这些依赖
! pip install vllm==0.6.2 modelscope==1.20.1

3 使用vLLM部署模型并启动服务

3.1 部署开源模型

这里选择在ModelScope模型库中下载Qwen2.5-1.5B-Instruct模型进行部署。当然，也可以在HuggingFace模型库下载开源模型进行部署，暂不在此演示。

首先，下载模型文件到本地。

!mkdir -p ./model/qwen2_5-1_5b-instruct
!modelscope download --model qwen/Qwen2.5-1.5B-Instruct --local_dir './model/qwen2_5-1_5b-instruct'

下载成功后，模型文件会保存在./model/qwen2_5-1_5b-instruct文件夹下。

接着，在终端窗口执行vllm命令启动一个模型服务。

vllm serve "./model/qwen2_5-1_5b-instruct" --load-format "safetensors" --port 8000

vllm serve：表示启动模型服务。
“./model/qwen2_5-1_5b-instruct”：表示加载的模型路径，通常包含模型文件、版本信息等。
–load-format “safetensors”：指定加载模型时使用的格式。
–port 8000：指定端口号，如果端口被占用，请切换为其他端口，如8100等。

服务启动成功后