『大模型笔记』测试本地大模型运行框架Ollama(支持macOS/Windows/Linux)

测试本地大模型运行框架Ollama(支持macOS/Windows/Linux)

文章目录

  • 一. Ollama介绍
    • 1.1. 安装
      • 1.1.1. 直接安装
      • 1.1.2. Docker安装
    • 1.2. 下载和运行模型
    • 1.3. Ollama目前支持的模型(截止到2024-03-05,持续更新)
    • 1.4. Ollama ModelFile(模型文件)
  • 二. Open WebUI
    • 2.1. 主要特点
    • 2.2. Docker安装Open WebUI
    • 2.3. 运行Open WebUI
  • 三. 参考文献

一. Ollama介绍

  • Ollama是一个简明易用的本地大模型运行框架,它能让你轻松地在本地配置和运行大语言模型。该平台支持 macOS、Windows 和 Linux 等多种操作系统,并可在 Docker 环境中运行。能在本地启动并运行 Llama 2、Mistral、Gemma 及其他大语言模型。
  • Ollama 将模型 权重、配置和数据 捆绑到一个包中,定义成 Modelfile。它优化了设置和配置细节,包括 GPU 使用情况
  • Ollama 通过 GPU 加速来运行模型。它提供了一个简单的 CLI 以及一个用于与您的应用程序交互的 REST

你可能感兴趣的:(大模型笔记,LLM,RAG,Ollama,open-webui,GPT)