Azure AI-102 认证全攻略: (三十四)基本提示工程与 API 指南
基本提示工程与 API 指南（修订版）
本指南将详细介绍如何在 Azure AI Studio 中配置和使用 Azure OpenAI 服务，从创建和管理 AI Hub，到部署 GPT-3.5 Turbo 及其他大语言模型（LLM），再到通过 Prompt Engineering 优化交互体验。此外，我们将探讨 API 调用的最佳实践、安全合规要点，以及如何进行成本管理与常见问题排查。通过这些步骤，您可以在实际业务场景中快速上手并发挥模型的最大价值。
1. 在 Azure AI Studio 中设置 AI Hub
1.1 访问 Azure AI Studio
- 登录 Azure Portal（https://portal.azure.com）。
- 在搜索栏中输入 “Azure AI Studio”，或在左侧导航栏中查找 Azure AI Studio 入口。
- 确保您拥有合适的订阅（Subscription）和访问权限，如无权限，请联系管理员或订阅拥有者进行分配。
1.2 创建或选择 AI Hub
- 新建 AI Hub：如果您是第一次使用 Azure AI Studio，会提示您创建新的 Azure AI Hub。可根据项目命名规则为该资源命名，如
MyCompanyAIHub。 - 选择已有 AI Hub：如果您之前已配置过，可直接选用现有的 AI Hub，避免重复部署。
1.3 选择部署区域
- 选择与您所在或目标用户群最近的 Azure 区域（如 West US、East US、Southeast Asia 等），能有效降低网络延迟并提高资源可用性。
- 注意：部分模型（如 GPT-3.5、GPT-4）只在特定区域开放。建议查看官方文档或在 Azure AI Studio 中的 模型目录（Model Catalog） 了解各区域对模型的支持情况。
1.4 进入模型目录
- 在 Azure AI Studio 的主界面，找到 模型目录（Model Catalog）。
- 浏览可用的大语言模型：例如 GPT-3.5 Turbo、GPT-3.5 Turbo Instruct、GPT-4 等。
- 如果有自定义模型需求，也可在此查看或上传自定义模型（如 Fine-tuned 模型）。
1.5 选择并部署模型
- 在 模型目录 中选定所需模型，如 GPT-3.5 Turbo。
- 点击 部署（Deploy），系统会提示选择部署方式。
1.6 配置部署方式与模式
- 标准部署（Standard Deployment）：适合大多数开发测试与中小规模生产场景，支持较灵活的配置与扩展，价格相对适中。
- 预配置部署（Provisioned Deployment）：通常在大型企业级场景下使用，可预先分配固定数量的计算与内存资源，以满足稳定的高并发或严苛的 SLA 要求。
- 在选择部署模式时，可参考下表做简单对比：
| 部署模式 | 适用场景 | 成本 | 弹性 & 灵活度 |
|---|---|---|---|
| 标准（Standard） | 开发测试、小规模生产部署，灵活性高 | 中等 | 可随时扩容和缩容 |
| 预配置（Provisioned） | 大规模生产部署，对性能与稳定性要求高 | 较高 | 资源固定，保证性能上限 |
提示：在实际选择时，需要根据团队预算、预计流量、并发需求以及对实时性能的要求来权衡。
2. 部署 GPT-3.5 Turbo 模型
2.1 选择模型版本
- 在 模型目录 中找到 GPT-3.5 Turbo，注意查看是否有多种版本或更新，如 “GPT-3.5 Turbo (Version 2023-XX-XX)”。
- 如果更高版本（如 GPT-4）在您所在区域可用，也可一并对比性能与价格再进行选择。
2.2 设定部署名称
- 创建部署时，需要输入 部署名称，如
GPT35_Turbo_Deployment，以便后续在代码或配置中引用。 - 建议使用命名规则区分环境和用途（如
GPT35_Turbo_Dev、GPT35_Turbo_Prod）。
2.3 执行部署
- 在部署页面点击 部署（Deploy） 按钮。部署过程通常需要数分钟至十数分钟不等，期间无需额外操作，完成后即可在 部署列表 中查看状态。
注意：若部署失败，可查看活动日志（Activity Log）或事件日志（Event Log），或在 “帮助与支持” 面板中寻找错误详情进行排查。
3. 在 Chat Playground 进行模型交互
3.1 进入 Chat Playground
- 在 Azure AI Studio 中，选择 Chat Playground。
- 在左侧的模型下拉列表中，选择已经部署成功的 GPT-3.5 Turbo。
3.2 创建项目
- 点击 新建项目（Project） 并将其与您的模型部署关联。
- 项目通常可以汇总多轮会话、测试脚本及提示词模版，便于团队协作和管理。
3.3 设置系统消息
- 系统消息（System Message）可指定模型的身份、风格及注意事项。示例：
你是一名日语教师，你将使用英语指导用户学习日语。 - 提示：若需要模型进行更严格、更复杂的角色扮演或输出格式限制，可在此处写得更具体。
3.4 启动对话
- 设置完系统消息后，点击 应用更改（Apply Changes）。
- 输入用户消息（User Message）后即可开始与模型对话，例如：“我想在三个月内通过日语初级考试，请问如何备考？”
- 模型会根据系统消息和用户消息提供回复。
4. 通过 Prompt Engineering 进行优化
4.1 设计高效的提示词
Prompt（提示词）的质量直接影响模型输出质量。在 Chat Playground 中，您可灵活调整系统消息、用户消息，以及示例对话。示例 Prompt：
角色：日语教师
语气：礼貌且鼓励
输出格式：以表格形式提供日语单词
规则：
1. 第一次交互时，询问用户的学习目标。
2. 若用户未提到目标，请主动确认。
3. 回答时每个单词附注读音与常用场景。
- 具体化与分步骤：将复杂任务分解为多个要点，帮助模型更加准确地理解需求。
- 提供示例：使用 “few-shot prompting” 的方法展示期望的回答格式，模型更容易遵循。
4.2 在 Chat Playground 测试提示词
- 可多次编辑 系统消息 或对话中的示例消息，观察 AI 的反馈。
- 如果发现输出不够准确或风格不当，可在系统消息中加入更多限制或示例。
4.3 迭代优化
- 上下文管理：在多轮对话中添加上一轮的用户消息与模型回复，帮助模型建立连续对话。
- 角色限定：可在系统消息中重复强调模型身份和输出边界，以免模型越界或给出不合适的回答。
- 结构化输出：需要机器可读格式时，建议在 Prompt 中明确要求返回 JSON 或 Markdown 表格，以便后续自动化处理。
避免陷阱：警惕过度提示（Over-prompting）或语义模糊等问题。若提示词太长、缺乏逻辑层次，模型可能出现混淆。
5. 使用 Jupyter Notebook 进行 API 交互
5.1 启动 Jupyter Lab
- 在 Azure Machine Learning Studio 或本地环境下打开 Jupyter Lab。
- 若使用 Azure Machine Learning Studio，可在对应 Workspace 中创建或打开 Jupyter Lab 服务。
5.2 创建新的 Python Notebook
- 点击 New → Notebook，选择 Python 3 环境。
5.3 安装/更新 OpenAI SDK
%pip install --upgrade openai
- 建议保持 SDK 的最新版本，以获取对最新功能和修复的支持。
5.4 配置并进行 API 调用
在 Azure 环境下，需要配置 api_type、api_base、api_version、api_key 等变量。示例代码如下：
import openai
# 1. 必要的配置信息
openai.api_type = "azure"
openai.api_base = "https://.openai.azure.com/" # 替换为你的 Azure OpenAI Endpoint
openai.api_version = "2023-03-15-preview" # 或者其他最新可用版本
openai.api_key = "your_azure_openai_api_key"
# 2. 模型部署名称（与在Azure上创建的名称一致）
DEPLOYMENT_NAME = "GPT35_Turbo_Deployment"
# 3. 构建调用参数
response = openai.Completion.create(
engine=DEPLOYMENT_NAME, # 或者 'deployment_id'，具体字段视OpenAI SDK版本而定
prompt="Hello, how are you?",
max_tokens=100
)
# 4. 输出模型回复
print(response.choices[0].text.strip())
最佳实践：
- 错误处理：用 try-except 包裹 API 调用，便于捕获网络异常、超时或限流（429）错误。
- 请求并发：若需要大规模并发调用，建议在调用层加入限速或队列，避免触发限流。
- 重试机制：在 429 或超时时，可进行指数回退式重试（Exponential Backoff），增强服务稳定性。
6. 维护对话上下文
6.1 使用上下文管理实现连续对话
如果要模拟 ChatGPT 类多轮对话，可使用 openai.ChatCompletion.create 接口，并记录对话历史：
messages = [
{"role": "system", "content": "You are a Japanese language teacher."},
{"role": "user", "content": "I want to learn Japanese."}
]
response = openai.ChatCompletion.create(
engine=DEPLOYMENT_NAME,
messages=messages,
max_tokens=100
)
assistant_reply = response['choices'][0]['message']['content']
print("Assistant:", assistant_reply)
# 将助手的回复追加到对话历史
messages.append({"role": "assistant", "content": assistant_reply})
- 注意：上下文越长，消耗的 Token 数也越多，成本相应增加，且可能影响性能。
- 建议：在业务无关的对话结束后，可定期清理对话历史，或只保留核心上下文，减少冗余内容。
7. 资源管理与成本控制
7.1 监控资源消耗
- 在 Azure Portal 的 成本管理（Cost Management） 页面查看与 AI 相关的费用。
- 建议为每个团队或项目设置单独的订阅或资源组，便于隔离成本与权限。
7.2 设置预算与预警
- 可在 成本管理 页面创建 “预算（Budget）”，并配置预警（Alerts）。
- 当支出即将或已经超过预算门槛时，会自动发送邮件或短信提醒，有助于及时采取措施。
7.3 停止未使用的服务与自动缩放
- 在不需要持续运行时，手动停止 部署或对话会话以减少占用。
- 利用 自动缩放（Auto-scaling） 策略，设置不同时间段或不同负载阈值下的资源配置，节约成本。
7.4 清理未使用的部署
- 若部署已无必要，建议 删除 相关资源（例如 Azure AI Hub、未使用的模型部署）以避免不必要的支出。
- 可编写脚本或使用 Azure Policy 定期审查资源使用情况。
8. 安全与合规性（企业级注意事项）
8.1 访问控制与 RBAC
- 使用 Azure Active Directory (Azure AD) 的 角色基于访问控制（RBAC） 管理访问权限。
- 为不同的团队成员分配最小权限（Principle of Least Privilege），避免滥用资源或泄露机密信息。
8.2 数据机密与合规
- 如果需要处理敏感数据（如个人隐私信息、业务核心数据），务必遵守相关法规（GDPR、HIPAA 等）及企业内部合规政策。
- 可考虑 专用网络（VNet Integration） 或 私有链接（Private Link），避免将数据暴露在公网上，增强安全性。
8.3 日志与审计
- 在企业环境中，要对 API 调用日志进行审计与监控，记录请求的参数、响应时间和资源使用情况。
- 对关键操作（如删除资源、更新配置）进行审计追踪，以便日后回溯或调查。
9. 常见问题（FAQ）与错误排查（Troubleshooting）
-
部署报错或长时间卡住
- 检查订阅是否有足够的配额（Quota），或所在区域是否支持该模型。
- 查看 活动日志（Activity Log） 获取具体错误信息，如需可联系 Azure 技术支持。
-
API 调用报 429（Too Many Requests）
- 说明触发了限流或请求速率超限。可尝试 减小并发、增加调用间隔，或启用 重试机制。
- 如业务需求高并发，可考虑 “升级 SKU/部署模式” 或“水平扩容”。
-
Access Denied 或 Authentication Error
- 检查 api_key、api_base、api_type、api_version 是否正确。
- 确保当前用户或服务主体（Service Principal）具备对 Azure OpenAI 的相应访问权限。
-
模型输出与预期不符
- 重新检查 Prompt 设计，确保 系统消息、用户消息 清晰且有针对性。
- 利用 “few-shot prompting” 给出示例，以提高模型对目标格式的理解。
-
成本飙升
- 检查调用频率、Prompt 长度和返回的 Token 数量。
- 通过设置 max_tokens 和 temperature、使用更短的上下文，或切换到相对更便宜的模型版本来控制成本。
- 在 成本管理 中创建预算和报警规则。
10. 结论：用好 Azure AI Studio，掌握大语言模型的无限潜能
通过本指南，您已经学会了：
- 在 Azure AI Studio 中创建 AI Hub 并部署 GPT-3.5 Turbo 等大语言模型。
- 使用 Prompt Engineering 优化交互体验，在 Chat Playground 中测试和迭代提示词。
- 在 Jupyter Notebook 中调用 API 并实现多轮对话的上下文管理。
- 掌握企业级安全与合规策略，保障数据隐私与访问控制。
- 进行成本监控与资源管理，确保在预算内高效地使用资源。
- 排查常见问题，轻松应对部署与调用中的各种挑战。
Azure AI Studio 为开发者与企业提供了强大的平台来集成 AI 能力，借助大语言模型的强大自然语言处理和生成能力，您可以在多种业务应用场景中获得显著的效率与价值提升。快来动手体验吧，探索 Azure AI Studio 带来的无限可能！
祝学习与部署顺利，期待您在生产环境中成功落地更多创意与应用！
