API 网关
API 网关
文档指南
请输入
- 文档首页
API 网关AI 网关AI 模型 Fallback
复制全文
下载 pdfAI 模型 Fallback
文档反馈
问问助手AI 网关支持模型 Fallback 功能，当系统中配置的 AI 模型无法响应或出错时，系统能自动切换至 Fallback 模型，有效保证应用程序的稳定性和可靠性。本文介绍如何配置 Fallback 模型。
背景信息
AI Fallback 是指在 AI 网关中配置的主模型服务不可用时，系统自动切换到 Fallback 备用模型，从而有效保证应用程序的稳定性和可靠性，避免因为某个模型服务的异常或者高负载造成的请求不可用。典型场景如下图所示。
触发条件
当调用模型服务，返回任意 HTTP 的4xx、5xx 错误状态码时，均会触发 AI Fallback。
前提条件
- 已开通目标大语言模型服务和 Fallback 模型服务，并获取 API Key。以豆包为例，详情请参见 开通管理 和 API Key 管理。
说明
- API 网关
- 已创建 API 网关实例，详情请参见 创建实例。
- 已将网关实例升级至 3.4.0 及以上版本，详情请参见 版本管理。
- 已将目标大语言模型和 Fallback 模型配置为 Upstream，详情请参见 AI 多模型代理。
操作步骤
- 在左侧导航栏选择 路由管理 > 服务列表（域名）。
- 单击 创建路由，配置路由信息。在配置 Upstream 流量分发时开启 Fallback，并配置 Fallback 模型。
-
- 配置项说明Fallback是否开启 AI 模型 Fallback 功能。开启该功能时，当后端 AI 模型返回4xx或5xx错误码时，AI 网关能自动切换至 Fallback 模型。
- 目标 Upstream：配置 Fallback 模型的 Upstream。
- 目标模型：配置 Fallback 目标模型。未配置时，默认表示透传。
- 目标路径：配置模型的路径。未配置时，默认表示透传。
- 单击 确定，完成配置。
结果验证
- 当主模型正常时，在本地环境中，通过域名调用大模型。
注意
通过 AI 网关调用大模型时，model为必填字段，但可以任意取值，AI 网关会将其值替换为路由中 目标模型 的配置。
预期访问结果如下。表示可以通过 AI 网关正确访问到目标大模型。
- 当主模型故障时，在本地环境中，通过域名调用大模型，依然能够获得应答。表示 AI 网关已经正确切换到 Fallback 模型。
最近更新时间：2025.08.25 19:51:02
这个页面对您有帮助吗？
有用
有用
无用
无用