首发!Llama3纯本地部署攻略!中文方法!

引言

llama3在4月19日刚刚发布,官方的对比结果中在开源模型中堪称世界第一,整好周六日有时间,在魔搭社区上测试一下

一、启动环境

登录魔搭社区,到自己的机器资源,可以看到,可选的机器配置, 这里我们选择:8核32G内存,24G显存; 预装ModelScope 预装镜像为:ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.13.3
首发!Llama3纯本地部署攻略!中文方法!_第1张图片
点击启动:
首发!Llama3纯本地部署攻略!中文方法!_第2张图片
启动后,可以进入terminal,检查机器配置:
首发!Llama3纯本地部署攻略!中文方法!_第3张图片
进入命令行界面:
首发!Llama3纯本地部署攻略!中文方法!_第4张图片
输入invdia-smi, 可以看到是A10卡,24G显存

你可能感兴趣的:(人工智能)