qwen3使用VLLM启动:vllm docker运行命令

1.停止大模型

docker stop vllm-qwen3-32b && docker rm vllm-qwen3-32b

2.启动大模型

docker run -d --gpus all --restart unless-stopped --network my_network --name vllm-qwen3-32b --shm-size=16g -v /home

你可能感兴趣的:(简单说深度学习,docker,容器,运维,vllm,qwen3)