华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版(三)

文章目录

    • `重要提醒:MINDIE镜像已更新版本,官网相关文档直接被删除了,建议直接移步新版` [昇腾,mindie,镜像,部署vllm:第1篇,安装新的docker 镜像](https://blog.csdn.net/xiezhipu/article/details/145467032) [昇腾,mindie,镜像,部署vllm:第2篇,启动mindieservice_daemon服务,支持对Qwen2.5的7B版本的推理](https://blog.csdn.net/xiezhipu/article/details/145468018)
      • 前言
      • 纯模型推理
      • 启动服务
      • 后面干什么?
      • 这可咋整啊?愁死了!
      • 总结


重要提醒:MINDIE镜像已更新版本,官网相关文档直接被删除了,建议直接移步新版
昇腾,mindie,镜像,部署vllm:第1篇,安装新的docker 镜像
昇腾,mindie,镜像,部署vllm:第2篇,启动mindieservice_daemon服务,支持对Qwen2.5的7B版本的推理

前言

这是咱这个系列的第三个文章了。
毕竟,这是我好几天摸索出的经验,能帮助各位在几个小时内领会,我觉得也算是我的功劳一件了。

所以,一是希望大家耐心看下去,耐心操作下去;而是

你可能感兴趣的:(昇腾NPU部署通义千问2.5,Agent),华为,自然语言处理,语言模型,人工智能,docker,python,transformer)