通过Bedrock Access Gateway解决方案快速访问Amazon Bedrock的多种大语言模型

Bedrock Access Gateway（BAG）解决方案提供了开箱即用、兼容 OpenAI 的代理功能，帮助用户轻松无缝地从 OpenAI 迁移到 Amazon Bedrock。

1. 概述

亚马逊云科技的 Amazon Bedrock 服务支持一系列领先的基础模型，为客户提供多种选择，满足不同业务场景的需求。其中，Anthropic 公司的 Claude3 是在 Amazon Bedrock 新上线的大型语言模型（Large Language Model，LLM）。与 OpenAI 的 GPT-4 等模型相比，Claude3 在保持高性能水平的同时，还能为客户带来更低的使用成本。

如果你已经在使用 OpenAI 的 API 或者 SDK 开发生成式 AI（Generative AI）应用，想快速体验或切换到 Amazon Bedrock 而不想更改你的应用代码，或者你想使用一些不直接支持 Amazon Bedrock 的开源项目或工具，又不想修改其代码，那么可以使用亚马逊云科技发布的 Bedrock Access Gateway（BAG）解决方案。它提供了兼容 OpenAI API 的代理，使你不需要修改任何代码，就可以把 OpenAI API 的调用转发到 Amazon Bedrock，从而获得包括 Claude3 在内的多种 LLM 的优秀能力。

2. 整体架构

Bedrock Access Gateway 解决方案的架构非常简洁，如图 1 所示。

图 1 Bedrock Access Gateway 解决方案架构图

BAG 采用无服务器 （Serverless）架构，通过 Application Load Balancer（ALB）对外提供访问，由 Amazon Lambda 处理 API 请求，用户不需要登录或管理后台服务器。用户也可以根据需要修改此架构，例如私有化部署，不把 ALB 暴露在公网，或者通过 Amazon Fargate 服务以容器替换 Amazon Lambda 来处理 API 请求，从而实现更低的延迟。

截至 2024 年 4 月，Amazon Bedrock 支持以下模型：

• anthropic.claude-instant-v1
• anthropic.claude-v2:1
• anthropic.claude-v2
• anthropic.claude-3-sonnet-20240229-v1:0 (默认)
• anthropic.claude-3-haiku-20240307-v1:0
• meta.llama2-13b-chat-v1
• meta.llama2-70b-chat-v1
• mistral.mistral-7b-instruct-v0:2
• mistral.mixtral-8x7b-instruct-v0:1
• mistral.mistral-large-2402-v1:0
• cohere.embed-multilingual-v3 (embedding)
• cohere.embed-english-v3 (embedding)

在实际应用中，为方便用户在迁移时不用改造任何现有代码，当请求中模型名（model 参数的值）是以 gpt 开始时，例如 gpt-3.5-turbo，BAG 会直接调用默认模型，如 anthropic.claude-3-sonnet-20240229-v1:0。用户可以在部署完成后通过修改 Lambda 的环境变量 DEFAULT_MODEL 来指定默认模型。

Parameter Store 服务存储 API Key 参数，该参数的值用于 API 访问的认证。

BAG 目前支持的 API 与功能包括：

• 通过 Server-Sent Events（SSE）技术提供流式响应
• Model API
• Chat Completion API
• Embedding API
• Function Call/Tool Call
• Multimodal API

亚马逊云科技会根据客户的需要继续增加和更新 API 功能ÿ