✨零基础手把手|Docker+vLLM极速部署OpenAI风格API:5分钟4卡GPU推理+避坑指南+完整镜像配置

一、Docker 基础命令

  1. 查看容器状态
      docker ps        # 查看运行中的容器
      docker ps -a     # 查看所有容器(包括已停止的)
    
  2. 查看镜像列表
      docker images    # 列出本地所有镜像
    

二、镜像与容器操作

  1. 镜像打包为 .tar 文件

      docker save -o    # 将镜像导出为 .tar 文件
      # 示例:
      docker save -o my_image.tar vllm/vllm-openai:v0.8.4
    

    打包多个镜像到一个文件

      docker save -o multiple_images.tar image1:tag image2:tag
    
  2. 从容器创建镜像

      docker commit    # 将容器保存为镜像
    
  3. 加载 .tar 镜像文件

      docker load -i    # 从 .tar 文件加载镜像
    
  4. 修改镜像名和版本

      docker tag <原镜像名>:<原标签> <新镜像名>:<新标签>
    
  5. 删除旧镜像

      docker rmi <原镜像名>:<原标签>
    

三、docker run 命令详解

示例命令拆解

docker run -d \
  --runtime nvidia \
  --gpus '"device=4,5,6,7"' \
  -v /data02/YangXian/models/Qwen/Qwen3-30B-A3B:/workspace/models \
  -v /data

你可能感兴趣的:(✨零基础手把手|Docker+vLLM极速部署OpenAI风格API:5分钟4卡GPU推理+避坑指南+完整镜像配置)