【Ollama】大模型本地部署与 Java 项目调用指南

Ollama 大模型本地部署与 Java 项目调用指南

---

一、引言

背景介绍

Ollama 是一个轻量级的大语言模型部署工具，支持快速在本地拉取、运行主流开源模型（如 LLaMA3、Mistral、Gemma 等）。它简化了模型部署的过程，内置 RESTful API，使得开发者可以像调用本地服务一样使用强大的大模型能力。
本文将介绍如何在本地部署 Ollama 模型，并通过 Java 项目调用 Ollama 提供的 API 接口，实现本地化智能问答、生成内容等功能。

适用场景

• 局域网内离线推理，不依赖公网模型 API
• 敏感数据本地处理，提高安全性
• Java 应用系统集成大模型能力（问答、摘要、分类等）

---

二、本地部署 Ollama 模型

2.1 环境准备

• 支持操作系统：
  • ✅ macOS (推荐 Apple Silicon)
  • ✅ Linux
  • ✅ Windows（通过 WSL2）
• 依赖组件：
  • curl 或 wget（用于下载安装脚本）
  • Docker（可选，Ollama 自带轻量容器引擎）
  • 本地磁盘空间建议 ≥ 10GB（用于存储模型文件）

2.2 安装 Ollama

• 使用官方推荐的安装命令：

curl -fsSL https://ollama.com/install.sh | sh

• 安装成功后，执行以下命令验证版本：

ollama --version

• 输出类似如下信息表示安装成功：

ollama version 0.1.34

如果网络无法连接 Ollama 官网，也可以手动下载 tar 包解压使用。

2.3 下载模型

以下载 llama3 模型为例：

ollama pull llama3

等待模型拉取完成后，使用以下命令查看模型：

ollama list

2.4 启动模型实例

ollama run llama3

该命令将启动一个本地 HTTP 服务，默认监听 http://localhost:11434，支持接收 POST 请求。

---

三、本地 Java 项目调用 Ollama 模型

3.1 调用方式说明

Ollama 提供 REST API 接口，Java 可以通过 HttpClient、OkHttp 等方式发起 HTTP POST 请求，传入模型名称和 prompt。

3.2 Ollama API 接口介绍

• 接口地址：

POST http://localhost:11434/api/generate

• 请求体（JSON 格式）：

{
  "model": "llama3",
  "prompt": "介绍一下Ollama",
  "stream": false
}

• 响应示例（简化）：

{
  "model": "llama3",
  "created_at": "2025-07-27T12:34:56Z",
  "response": "Ollama 是一个..."
}

3.3 Java 调用示例

✅ 使用原生 HttpClient（Java 11+）

import java.net.URI;
import java.net.http.HttpClient