Phi-3 模型手机部署教程(微软发布的可与GPT-3.5媲美的小模型)

前面几篇博文,老牛同学和大家一起在个人电脑部署了Qwen2GLM4Llama3ChatTTSStable Diffusion等 LLM 大模型,也通过 API 和 WebUI 的方式完成了体验。

但是这些大模型因为部署在个人电脑本地,不能够随时携带。如果能在手机上部署大模型的话,老牛同学感觉很有意义,手机与我们的生活更为密切相关,并且手机上也有大量的个人数据,与大模型交互起来也更加方便。同时,在手机上跑个大模型,还是很酷!

老牛同学期望能通过本文,和大家一起完成这项很酷且有意义的事情。老牛同学用的是小米 10 Pro手机,其配置参数如下:

Phi-3 模型手机部署教程(微软发布的可与GPT-3.5媲美的小模型)_第1张图片

选择 Phi-3 微软开源模型

受限于手机 CPU 和内存等硬件配置,我们要选择小语言模型(SLM)。其中,阿里开源了Qwen2-0.5BQwen2-1.5B两款小尺寸模型,微软了开源Phi-3 Mini3.8B)和Phi-3 medium14B)两款尺寸模型。

由于之前我们在笔记本部署了Qwen2-7B大模型,本次我们就在手机部署Phi-3 Mini模型,顺便也体验一下不同科技公司的大模型产品,其效果可以媲美GPT-3.5大模型:

Qwen2-7B本地部署:Qwen2 阿里最强开源大模型(Qwen2-7B)本地部署、API 调用和 WebUI 对话机器人

手机配置 Linux 环境(Termux 应用)

小米等安卓手机的基于 Linux 内核的操作系统,但是我们无法像在 Linux 那样执行 Linux 命令,因此我首先得配置一下 Linux 环境。

Termux是一个 Android 的

你可能感兴趣的:(AI,gpt-3,AI,人工智能,大模型,Ollama,Phi,Termux)