大模型实战—个人AI大脑Khoj 本地部署

Khoj AI本地部署

了解如何在您自己的机器上自行托管Khoj。

自行托管的好处：

1. 隐私：您的数据永远不需要离开您的私有网络。如果部署在您的个人电脑上，您甚至可以在没有互联网连接的情况下使用Khoj。
2. 定制化：您可以根据自己的喜好定制Khoj，从模型到主机URL，再到功能启用。

设置

这些是自行托管Khoj的一般设置说明。
您可以使用Docker或Pip安装Khoj服务器。

离线模型 + GPU
如果您想使用离线聊天模型并且您有一个GPU，您应该使用安装选项2 - 通过Python包直接进行本地设置。我们的Docker镜像目前不支持在GPU上运行离线聊天模型，这会使得推理时间非常慢。

1A. 安装方法1：Docker

先决条件

1. 安装Docker引擎。参见官方说明。
2. 确保您有Docker Compose。参见官方说明。

设置

1. 从Github获取示例docker-compose文件。
2. 在docker-compose.yml中配置环境变量以供您选择。