llm+rag本地化部署手册

llm+rag本地化部署手册

1.linux 环境搭建

a.基础实验环境搭建

官网安装 docker desktop 即可，详情见下方 Docker 一节

b.使用 WSL2 进行搭建或者使用原生 linux 进行搭建

在管理员模式下打开 PowerShell 或 Windows 命令提示符，方法是右键单击并选择“以管理员身份运行”，输入 wsl --install 命令，然后重启计算机。或是到 Microsoft Store 搜索 Ubuntu，进行下载

下载后可以用这句命令检查：

​​

命令行内输入 wsl 即可进入 wsl 系统

​​

2.依赖环境安装

a. docker

Docker 是一个用于开发、发布和运行应用程序的开放平台。通过 Docker，您可以将应用程序与基础架构分开，从而快速交付软件。使用 Docker，您可以用管理应用程序的相同方式管理基础架构。通过利用 Docker 的发布、测试和部署代码方法，您可以大大减少编写代码与在生产中运行代码之间的延迟。

安装包部署：linux 通过包管理命令，比如 debian 家族 sudo apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin​,centos 家族 sudo yum install docker-ce docker-ce-cli containerd.io docker-compose-plugin​，windows 直接从官网下载 docker desktop 安装包，特点是方便快捷。

二进制部署：从 Docker 官网下载二进制文件并手动安装。适用于没有包管理器的环境或需要定制安装的情况。

Dockerfile 是一个文本文件，其中包含了一系列指令，用于构建一个 Docker 镜像。这些指令定义了如何设置环境、安装软件、复制文件等，以便创建一个完整的运行环境。常用的命令：FROM 指令指定基础镜像，RUN 指令执行命令，CMD 指令指定容器创建时的默认命令，ENTRYPOINT 指令设置主要命令且不易被覆盖，COPY 和 ADD 指令用于文件复制等。docker 在构建镜像时，上下文路径用于告知 docker 引擎本机需打包的文件所在位置，默认是 Dockerfile 所在位置。EXPOSE 声明端口，WORKDIR 指定工作目录，USER 指定执行后续命令的用户和用户组，HEALTHCHECK 监控容器服务运行状态，ONBUILD 延迟构建命令执行，LABEL 为镜像添加元数据

下载完成后,Windows 需要启动 docker desktop 客户端,linux 可以直接在命令行中启动

检查安装是否正确

​​

docker 换源

由于众所周知的原因, 局域网内访问 docker 的速度和稳定性都是比较抽象的,需要进行换源.一个优质的镜像源是阿里云为个人开发者提供的 docker 源

配置镜像加速器_容器镜像服务(ACR)-阿里云帮助中心 (aliyun.com)

配置完成后需要重启服务才能生效：(linux 下)

systemctl daemon-reload
systemctl restart docker

Windows 下 docker desktop 配置镜像的方法:

在 docker desktop 内打开设置-docker engine,在 json 文件中添加

​"registry-mirrors": ["url"] ​后,点击下方应用&重启按钮即可

离线导入镜像：

本文档提供了一个镜像，您可以通过离线方式导入镜像，或是通过 docker pull ​命令在线导入镜像

镜像可以从本地加载, 比如

docker load -i ollama_latest.tar
docker load