vllm本地部署bge-reranker-v2-m3模型API服务实战教程

vllm本地部署bge-reranker-v2-m3模型API服务实战教程_第1张图片

文章目录

    • 一、说明
    • 二、配置环境
      • 2.1 安装虚拟环境
      • 2.2 安装vllm
      • 2.3 对应版本的pytorch安装
      • 2.4安装flash_attn
      • 2.5 下载模型
    • 三、运行代码
      • 3.1启动服务
      • 3.2 调用代码验证

一、说明

本文主要介绍vllm本地部署BAAI/bge-reranker-v2-m3模型API服务实战教程

本文是在Ubuntu24.04+CUDA12.8+Python3.12环境下复现成功的

二、配置环境

2.1 安装虚拟环境

我使用的是mininconda3,如果还不会使用虚拟环境,可以参考Miniconda管理python环境 - CSDN App

创建虚拟环境:

conda create -n bge python=3.12

2.2 安装vllm

安装之前,我们先进入刚才创建的虚拟环境:

conda activate bge

在下载vllm:

pip install vllm

2.3 对应版本的pytorch安装

你可能感兴趣的:(大模型部署,linux,python,vscode,language,model)