当您在单个 AI 加速网关实例中接入多个模型时，可以通过配置模型路由策略，将请求按规则分发到不同模型，从而实现流量的负载均衡或服务的主备容灾。本教程介绍如何为网关实例配置多模型路由。

适用场景

• 负载均衡：将请求按权重分散到多个同类模型，平摊单模型的调用压力，适用于高并发或多供应商成本分摊场景。
• 主备容灾：为核心服务配置备用模型，在主模型故障或超时时自动切换，保障业务连续性。

前提条件

• 已完成 快速上手 MaaS API 加速，即已创建 AI 加速网关实例并获取到 BaseUrl 和 API Key。本教程在该实例基础上配置多模型路由，不再重复实例的创建步骤。
• 已准备至少两个同一调用类型（如均为文本生成）的模型及其 API Key。

:::tip

• 模型路由属于 OpenAI 兼容协议下的网关能力。协议透传方式不经过网关的路由处理逻辑，不支持负载均衡与主备容灾。
• 路由策略仅在同一调用类型的模型之间生效。不同调用类型（如文本生成与图像生成）的模型独立调度，不互相容灾或均衡。
  :::
  

操作步骤

步骤一：进入实例编辑页面

1. 登录 全站加速控制台。
2. 在左侧导航栏，选择 AI 加速网关 > 实例管理。
3. 找到目标实例，在 操作 列单击 编辑。您也可以在 实例详情 页面单击右上角的 编辑。

步骤二：选择路由策略并添加模型

在 模型配置 区域完成以下配置。

1. 选择 模型路由策略：

   • 负载均衡：为每个模型设置 权重（1-100 的整数），网关按权重比例分配请求。
   • 主备容灾：按模型顺序（可拖拽调整）调用，主模型失败或超时后自动切换到下一优先级的备用模型。

   

2. 单击 添加模型，接入至少两个同一调用类型的模型。各模型类型的配置项详情，请参见创建 AI 加速网关实例的配置说明。

3. 单击 确定 保存配置。

步骤三：获取调用示例并选择模型

在 实例详情 页面的 请求方式 区域，可以获取实例的 BaseUrl、API Key 以及 Curl、Python 调用示例。当实例绑定了多个模型时，选择不同模型会影响调用示例中的 model 字段取值，进而影响实际的路由行为。建议根据所配置的路由策略选择相应取值。

| | | \

路由策略	模型选择
主备容灾	选择您最希望优先访问的模型名称。网关将按配置的主备顺序调度，主模型失败或超时后自动切换到备用模型。
	:::tip
	路由策略仅在同一调用类型（如文本生成、图像生成、语音识别等）的模型之间生效。不同调用类型的模型独立调度，不互相容灾或均衡。
	:::
负载均衡	选择任一模型，则 model 字段自动填充所选模型。这种情况下，网关会直接使用该模型，不进行负载均衡。
	:::warning
	要使负载均衡生效（网关按权重在同一调用类型模型之间分配请求），model 字段不能是已配置的任何模型，建议留空或设置为 auto。
	:::

相关文档

| | | \

文档	说明
快速上手 MaaS API 加速	创建并配置第一个 AI 加速网关实例的完整流程，是本教程的前提。
创建 AI 加速网关实例	实例各配置项的完整说明，包括模型路由策略的参数详情。
配置预算管理控制调用成本	为实例或模型设置用量限额，超限后按路由策略切换模型。