如何用cURL测试Ollama和vLLM的大模型服务运行状态

一、为什么需要cURL测试?

在部署大模型服务(如Ollama或vLLM)后,快速验证服务是否正常运行至关重要。cURL作为轻量级命令行工具,能直接发送HTTP请求到模型API,通过解析响应确认服务状态,无需编写额外代码。


二、前置条件

确保以下环境已就绪:

  1. Ollama或vLLM服务已启动(默认端口:Ollama-11434, vLLM-8000)
  2. 已安装cURL(所有操作系统通用)
  3. 至少一个可用的模型(如Llama3、Qwen等)

场景1:测试Ollama服务

步骤1:启动Ollama服务
ollama serve  # 启动服务(默认端口11434)
步骤2:发送cURL请求测试模型

基础测试(生成文本)

你可能感兴趣的:(简单说深度学习,网络,人工智能,神经网络,python,ollama,vllm)