华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版(一)

文章目录

    • `重要提醒:MINDIE镜像已更新版本,官网相关文档直接被删除了,建议直接移步新版` [昇腾,mindie,镜像,部署vllm:第1篇,安装新的docker 镜像](https://blog.csdn.net/xiezhipu/article/details/145467032) [昇腾,mindie,镜像,部署vllm:第2篇,启动mindieservice_daemon服务,支持对Qwen2.5的7B版本的推理](https://blog.csdn.net/xiezhipu/article/details/145468018)
        • 引言
        • 什么是NPU?什么是昇腾Ascend 910B2?
        • 官方参考文档:昇腾社区
        • 昇腾推理引擎[mindie](https://www.hiascend.com/developer/ascendhub/detail/af85b724a7e5469ebd7ea13c3439d48f)
        • 环境准备
        • 镜像获取
        • 模型权重文件下载
        • 结论
        • 结论


重要提醒:MINDIE镜像已更新版本,官网相关文档直接被删除了,建议直接移步新版
昇腾,mindie,镜像,部署vllm:第1篇,安装新的docker 镜像
昇腾,mindie,镜像,部署vllm:第2篇,启动mindieservice_daemon服务,支持对Qwen2.5的7B版本的推理

引言

最近单位给整了一台上面带8块昇腾Ascend 910B2的服务器,现在需要在上面部署通义千问的Qwen2.5。

然后就开始各种网上找资料,各种踩坑。如今终于跑通了,就想从头记录一下。

你可能感兴趣的:(昇腾NPU部署通义千问2.5,Agent),华为,服务器,运维,语言模型,自然语言处理,人工智能,深度学习)