(Ollama 是一个开源的、易于使用的本地大语言模型运行工具,在本地部署大模型过程中发挥着关键作用)
安装完成后,可通过打开终端(Windows 用户按 Win + R,输入 cmd 打开命令提示符;Mac 用户直接打开 “Terminal”;Linux 用户使用默认终端),输入 “ollama list” 来验证安装是否成功。若终端显示类似 “llama3” 等模型名称,说明安装无误。
在终端中输入不同命令,可下载对应版本的 DeepSeek 模型:
- 1.5B 版本(适合 CPU 及低配 GPU,文件较小,适合初步体验和简单任务):ollama run deepseek - r1:1.5b
- 7B 版本(适合普通内容创作、日常对话及开发测试场景,对硬件要求适中,推荐 16GB 内存 + 8GB 显存):ollama run deepseek - r1:7b
- 8B 版本(在 7B 基础上更精细,适合对内容质量要求较高的普通用户场景):ollama run deepseek - r1:8b
- 14B 版本(适合专业及深度内容创作场景,如复杂科研报告撰写、代码深度优化等,建议 12 核 CPU + 32GB 内存 + 16GB 显存):ollama run deepseek - r1:14b
- 32B 版本:ollama run deepseek - r1:32b
- 70B 版本(最高性能版本,但对硬件要求极高):ollama run deepseek - r1:70b
若不确定选择哪个版本,可直接在终端输入 “ollama run deepseek - r1”,默认会下载 7B 版本。模型下载时间取决于网络状况,可能需要几分钟到几十分钟不等。
模型下载完成后,在终端中继续输入 “ollama run deepseek - r1: 对应版本号”(如 “ollama run deepseek - r1:7b” ),即可进入与 DeepSeek 模型的交互界面,在命令行中输入问题,模型会给出回答。例如输入 “帮我写一篇关于春天的散文”,模型便会生成相应内容。此后每次使用,若 Ollama 已启动,只需打开终端输入上述运行命令即可与模型对话。若关闭电脑后重新打开,需再次通过上述方式启动 Ollama 并运行模型。
(LM Studio 是一款专为运行和管理大语言模型而设计的桌面应用程序,在本地部署大模型场景中具有独特优势。)
在 LM Studio 的设置界面中,找到 “常规” 部分,勾选 “Use LM Studio's Hugging Face” 的复选框。
这一步操作是为了让 LM Studio 能够从 Hugging Face 平台搜索并下载模型。
完成设置后,点击软件左上方的搜索图标(放大镜),在出现的搜索框中输入 “deepseek”,稍等片刻,软件会列出各种不同版本的 DeepSeek 模型。
选择好需要的模型版本后,点击模型列表右侧的 “download” 按钮,开始下载模型。下载时间会因网络状况和模型大小而有所不同,可能需要几分钟到数小时不等。
下载完成后,点击 LM Studio 左上方的对话框图标,在弹出的模型选择窗口顶部,找到并选择刚才下载好的 DeepSeek 模型。同时,你还可以在顶部的设置区域,根据自己的需求和电脑硬件性能,设置上下文长度和 GPU 负载等参数。
设置完成后,等待模型加载完成,即可开始使用 DeepSeek 模型。
打开终端,输入以下命令安装必要依赖项:
sudo apt - get update
sudo apt - get install - y python3 - pip python3 - dev python3 - venv git
为避免依赖冲突,建议在虚拟环境中操作,输入以下命令创建名为 “deepseek - env” 的虚拟环境:
python3 - m venv deepseek - env
source deepseek - env/bin/activate
根据 CUDA 版本安装 PyTorch,例如 CUDA 11.2 的安装命令如下:
pip install torch torchvision torchaudio --extra - index - url https://download.pytorch.org/whl/cu112
从 GitHub 克隆 DeepSeek 的代码库,在终端输入:
git clone https://github.com/deepseek - ai/deepseek.git
cd deepseek
安装项目所需的 Python 依赖,执行命令:
pip install - r requirements.txt
从 DeepSeek 官方提供的链接下载预训练模型权重,并将其放置在 “models/” 目录下。也可使用命令(假设模型权重已上传到某个服务器):
wget https://example.com/path/to/deepseek_model.pth - O models/deepseek_model.pth
设置必要的环境变量,例如指定模型路径和 GPU 设备号,在终端输入:
export MODEL_PATH=models/deepseek_model.pth
export CUDA_VISIBLE_DEVICES=0
使用以下命令启动模型推理或训练:
python run.py --model_path $MODEL_PATH --input "你的输入文本"
可通过提供输入文本来测试模型输出,如:
python run.py --model_path $MODEL_PATH --input "你好,DeepSeek!"
部署完成后在完成测试模型步骤的命令行窗口中,只要该窗口未关闭,模型服务仍在后台运行。你可以继续在命令行中输入运行模型的指令,同上述命令行只需将"你好,DeepSeek!"换作你想询问DeepSeek的问题即可继续使用。