AI 网关支持对接常见的大语言模型（OpenAI、豆包、月之暗面、通义千问等），为大语言模型提供统一、高可用的 AI 网关功能。本文介绍如何通过 AI 网关接入大语言模型。

说明

【邀测·申请试用】：该功能目前处于邀测阶段，如需使用，请联系您的客户经理。

## 背景信息 API 网关（API Gateway，APIG）支持作为 AI 网关，为常见大语言模型提供托管的云原生网关功能，实现统一的多模型访问代理功能。同时，API 网关支持对接 [托管 Prometheus](https://www.volcengine.com/docs/6731/106488) 产品，实现实例级别、服务级别的观测和告警。 ### 多模型代理访问在 AI 应用开发和构建的过程中，尤其需要对接多个不同模型厂商时。由于不同厂商或模型拥有各自独特的接口和调用方式。为适应不同的大模型，开发者必须在应用代码中适配多个厂商或模型的调用信息。这使得集成过程变得尤为复杂且耗时。通过使用 AI 网关实现多模型代理，统一不同厂商、不同模型之间的协议和调用方式。开发者无需再针对每个模型厂商的 API 进行单独适配。 * 对于已开发完成的 AI 应用，由于 AI 网关实现了对模型类型、API\-Key 的托管，系统会自动改写访问请求中的相关信息。因此，存量应用可以不经修改，直接通过 AI 网关访问多个模型厂商，能够帮助用户更快速、更平滑地迁移到新的模型（如豆包、月之暗面等）。 * 对于新开发的 AI 应用，只需遵循 AI 网关统一的接口规范进行开发，即可访问所有的模型，大大简化了集成的难度和工作量。同时，后续增加新的厂商或模型时，开发者只需在网关上进行一次修改，即可实现对所有使用该协议的模型的适配，无需修改应用本身，降低了维护成本。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_3f8867d5666b6941a4c99a17608de8c0.png) ### 自定义接入点和语义使用 AI 网关对大模型进行访问代理时，允许用户使用自定义的域名，并能够使用更具备实际意义的接入点语义，提升 AI 大模型使用时的用户体验。例如，对于众多大模型来说，`/chat/completions`接入点主要用于生成对话。使用 AI 网关代理大模型后，您可以使用更有实际意义的接入点名称，使用`/chatbot`替代`/chat/completions`，方便用户快速识别该接入点的含义，屏蔽不同厂商接入点的差异性。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_812ddac49a88e5ac1e3eb0bd7d414550.png) ## 前提条件 * 已开通目标大语言模型服务，并获取 API Key。以豆包为例，详情请参见 [开通管理](https://www.volcengine.com/docs/82379/1159200) 和 [API Key 管理](https://www.volcengine.com/docs/82379/1361424)。

说明

使用火山方舟平台和豆包大模型时，还需要创建接入点，详情请参见创建推理接入点（Endpoint）。

* 已创建托管 Prometheus 工作区，详情请参见 [创建工作区](https://www.volcengine.com/docs/6731/106522)。 * 已在域名注册商处获取待绑定的域名，并在工信部完成 ICP 备案或接入备案。详情请参见 [备案流程](https://www.volcengine.com/docs/6428/68727)。 * API 网关 * 已创建 API 网关实例，详情请参见 [创建实例](https://www.volcengine.com/docs/6569/85693)。 * 已将网关实例升级至 3.3.0 及以上版本，详情请参见 [版本管理](https://www.volcengine.com/docs/6569/1657695)。 * 已创建服务，并绑定自定义域名。详情请参见 [创建服务](https://www.volcengine.com/docs/6569/85695)、[绑定自定义域名](https://www.volcengine.com/docs/6569/148261)。 ## 操作步骤 ### 步骤一：创建 Upstream 1. 在左侧导航栏选择 **后端管理 \> Upstream 列表**。 2. 在 Upstream 列表页面，单击 **创建 Upstream**。 3. 在创建 Upstream 页面，按要求填写参数信息。 * **基本信息**：配置 Upstream 的名称和所属实例。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_782d9aeae7de9afa23dad633963ea432.png) * **后端配置**：后端服务选择 **AI 模型代理**。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_38b3aef5f9bd7bf6189e32024c4e6e6e.png) |配置项 |说明 | |---|---| |模型类型 |在下拉菜单中选择需要代理的大语言模型类型，目前支持 OpenAI、方舟、月之暗面、通义千问、Anthropic。 | |模型地址 |选择大语言模型后，系统会自动填充对应大语言模型的地址，请确认该地址正确。如有需要，支持修改模型地址。 | |模型 API Key |配置大语言模型的 API Key，用于完成授权认证。 | |高级设置 |单击 **添加**，支持在 HTTP 访问报文的 Header 或 Body 中，添加该模型服务商的特殊字段。 | 4. 单击 **确定**，完成创建 Upstream。 ### 步骤二：创建路由

说明

系统支持为指定服务配置单条路由，也支持为多个服务批量创建路由。本文以指定服务配置单条路由为例。

为多个服务批量创建路由的操作方法，请参见创建路由。

1. 在左侧导航栏选择 **路由管理 \> 服务列表（域名）** 。 2. 在服务列表页面，单击目标服务名称，进入当前服务概览页面。 3. 单击 **创建路由**，配置路由信息。 * **基本信息**：配置路由的名称、请求方法 Method 和路径 Path。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_cd57360e11fd47d5dfded105aec4cf46.png) * **Upstream 流量分发**：配置路由后端对接的 Upstream 和流量权重。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_cacd38db0b297607bf98667a838bd97c.png) |配置项 |说明 | |---|---| |后端类型 |选择接入的 Upstream 类型，本例中选择 **AI 模型代理**。 | |选择 Upstream |在下拉菜单中选择配置 AI 模型类型的 Upstream。 | |权重 |配置当前 Upstream 的流量权重。整数形式，取值范围为 1～1000。

说明

系统会根据 Upstream 配置的权重总值和各 Upstream 权重占比，按比例显示流量划分，百分比数字精确到两位小数。

| |目标模型 |配置目标模型。当使用火山方舟平台和豆包大模型时，此处为接入点 ID，详情请参见 [创建推理接入点（Endpoint）](https://www.volcengine.com/docs/82379/1099522)。 | |目标路径 |配置模型的路径。 | |Fallback |是否开启 AI 模型 Fallback 功能。开启该功能时，当系统中配置的 AI 模型无法响应或出错时，AI 网关能自动切换至 Fallback 模型，有效保证了应用程序的稳定性和可靠性。

* **目标 Upstream**：配置 Fallback 模型的 Upstream。

* **目标模型**：配置 Fallback 目标模型。未配置时，默认表示透传。

* **目标路径**：配置模型的路径。未配置时，默认表示透传。 | 4. 单击 **确定**，创建完成路由。 ## 结果验证在本地环境中，使用自定义接入点调用大模型并获取应答。 ```bash curl http://apig-example.com \ -H "Content-Type: application/json" \ -d '{ "model": "ep-20***-***", "messages": [ {"role": "system","content": "你是豆包，是由字节跳动开发的 AI 人工智能助手."}, {"role": "user","content": "常见的十字花科植物有哪些？"} ] }' ```

注意

通过 AI 网关调用大模型时，model为必填字段，但可以任意取值，AI 网关会将其值替换为路由中 目标模型 的配置。

预期访问结果如下。表示可以通过 AI 网关正确访问到目标大模型。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_579efd7ab3820a1f51a2dc137c067661.png)