【阿里云大模型高级工程师ACP学习笔记】2.8 部署模型

一、学习目标

特别说明：这一章节是2025年3月官方重点更新的部分，几乎对内容重新翻新改造了一遍，重点突出了对于如何结合不同的阿里云产品来部署大模型进行了更加详细的介绍和对比，这里整理给大家，方便大家参考。

在备考阿里云大模型高级工程师ACP认证的过程中，学习《2.8 部署模型》这部分内容时，我的目标非常明确：不仅要深入理解模型部署的概念和意义，还要掌握多种模型部署的方式及其操作步骤，并且能够依据不同的应用场景和自身需求，精准选择最合适的部署方式。具体如下：

1. 了解手动部署模型的流程：清楚从下载模型、编写加载代码到发布为支持API访问的应用服务的整个过程，熟悉其中涉及的技术和工具。
2. 熟悉云上部署模型的常见方式：掌握如大模型服务平台百炼、函数计算FC、人工智能平台PAI-EAS、GPU云服务器、容器服务ACK、容器计算服务ACS等云服务部署模型的方法和特点。
3. 学会根据需求选择部署方式：综合考虑业务规模、成本预算、性能要求、运维能力等因素，在不同的部署方式中做出最优选择。

二、知识点汇总

知识点	知识内容	重要性	学习难易度
模型部署的概念	模型部署指将训练好的AI模型从开发环境转移到生产环境，使其能处理实时数据并为实际应用提供服务。 它是连接模型开发与实际应用的关键环节，让模型真正发挥价值	高	中
直接调用模型（无需部署）	1. 调用方式：可直接调用阿里云预置模型的API 。 2. 优势：无需部署、按需计费、无需运维；适合业务初期或中小规模场景 。 3. 局限：存在限流问题，且无法满足模型微调或服务提供商不支持的情况	高	低
在测试环境中部署模型	1. 环境准备：  ① 确保GPU环境，下载模型、安装依赖项。 2. 部署微调模型（可选）。 3. 测试服务运行状态：通过cURL发送HTTP请求测试。 4. 评估服务性能：使用wrk工具压测，了解服务在不同负载下的表现	高	高
在云上部署模型的优势	1. 灵活部署：相比购买服务器部署，云服务提供更多灵活部署方式。 2. 性能优势：可获得可扩展、高并发、低延迟的服务。 3. 管理便捷：具备灵活管理能力，服务稳定性高	高	中
大模型服务平台百炼部署模型	1. 部署方式：可通过控制台或API部署预置模型或自定义模型。 2. 应用生态：部署后可集成百炼生态。 3. 局限：支持的模型种类有限	中	低
函数计算FC部署模型	1. 服务特性：提供Serverless GPU服务，无需运维底层资源，按需付费，适合计算资源要求高的临时任务。 2. 存在问题：存在冷启动延迟，且调试难度增加	中	中
PAI-EAS部署模型	1. 部署方式：可将开源或自定义模型部署为在线服务，提供弹性扩缩容等功能，支持镜像部署和Processor部署两种方式。 2. 特殊功能：有模型预热功能。 3. 成本：固定成本较高	中	高
云服务器ECS或容器服务部署模型	ECS部署：  1. 优势：可完全控制服务器配置，提供稳定计算资源，结合弹性伸缩和负载均衡可实现高可用性和负载均衡。  2. 不足：维护成本高。 容器服务（ACK、ACS）部署：  1. 适用对象：适用于有容器部署经验的组织。  2. 资源获取：可获取GPU算力容器	高	高

三、拉重点

1. 不同“在云上部署模型”的对比

1. 大模型服务平台百炼
   • 部署步骤：登录阿里云百炼平台控制台，在模型管理页面选择预置模型或上传自定义模型；配置模型相关参数，如输入输出格式、资源规格等；通过控制台操作一键发布模型，生成可调用的API 接口；完成后可在应用管理中集成百炼生态内的其他服务，快速实现模型的应用落地。
   • 注意事项：需提前确认百炼平台是否支持所需部署的模型类型；自定义模型上传时，要严格按照平台规定的格式和要求准备模型文件及相关数据。
   • 优点：部署流程简单直观，对技术要求较低，新手容易上手；可无缝集成百炼生态内的各类工具和服务，便于快速构建应用；无需过多关注底层基础设施，降低运维成本。
   • 缺点：支持的模型种类有限，无法满足所有个性化模型的部署需求；在资源配置和性能优化方面的灵活性相对较弱，难以满足复杂业务场景下的深度定制需求。
2. 函数计算FC