autodl云计算平台 使用ollama 部署lightrag 加入streamlit界面

  1    到autodl的算力市场里开一台机器

镜像选择:PyTorch  2.3.0 、Python  3.12(ubuntu22.04) 、Cuda  12.1

我本来选择的Cuda12.4,但版本过高疑似会使ollama不使用GPU而只用CPU,后来换个镜像就好了

  2   下载lightrag

从lightrag的GitHub界面下载zip

开机,上传zip,解压到autodl-tmp/lightrag下

安装依赖,在文件夹下:pip install -e .

  3   安装ollama

参考了https://github.com/ollama/ollama/blob/main/docs/linux.md

可直接在autodl的终端里使用 curl -fsSL https://ollama.com/install.sh | s

你可能感兴趣的:(云计算,深度学习,pytorch,学习)