使用vllm部署 Nanonets-OCR-s

使用vLLM部署Nanonets-OCR-s模型的完整指南

Nanonets-OCR-s作为基于Qwen2.5-VL-3B的多模态OCR模型,结合vLLM的高效推理引擎可显著提升部署性能。

一、环境准备与依赖安装

1. 安装vLLM与多模态依赖
# 安装vLLM(含CUDA加速)
pip install vllm==0.3.21  # 建议使用稳定版本
pip install transformers==4.35

你可能感兴趣的:(软件开发技术实战专栏,Linux服务器技术,人工智能AI,ocr,python,深度学习)