LLM 大模型学习必知必会系列(十三)：基于SWIFT的VLLM推理加速与部署实战

LLM 大模型学习必知必会系列(十三)：基于SWIFT的VLLM推理加速与部署实战

1.环境准备

GPU设备: A10, 3090, V100, A100均可.

#设置pip全局镜像 (加速下载)
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
#安装ms-swift
pip install 'ms-swift[llm]' -U

#vllm与cuda版本有对应关系，请按照`https://docs.vllm.ai/en/latest/getting_started/installation.h