AI 加速网关的预算管理能力可为网关实例或模型供应商设置用量限额。当用量达到限额后,网关会按 模型路由策略 将请求重新分发到同一调用类型的其他模型,从而在保障业务连续性的同时控制调用成本。本教程介绍如何为网关实例配置预算管理。
适用场景
- 成本封顶:为实例或单个模型设置费用上限,避免调用量突增导致成本失控。
- 配额分摊:按模型供应商分别设置 Tokens 或费用限额,在多供应商之间合理分配用量。
- 平滑降级:主力模型达到预算上限后,自动将流量切换到成本更低或额度充足的同类模型,而非直接中断服务。
前提条件
- 已完成 快速上手 MaaS API 加速,即已创建 AI 加速网关实例并获取到
BaseUrl 和 API Key。本教程在该实例基础上配置预算管理,不再重复实例的创建步骤。
- 如需在超出预算后自动切换模型,建议实例已接入至少两个同一调用类型的模型,并配置好模型路由策略。
:::tip
预算管理属于 OpenAI 兼容协议下的网关能力。协议透传方式不经过网关的预算处理逻辑。
:::
操作步骤
步骤一:进入实例编辑页面
- 登录 全站加速控制台。
- 在左侧导航栏,选择 AI 加速网关 > 实例管理。
- 找到目标实例,在 操作 列单击 编辑。您也可以在 实例详情 页面单击右上角的 编辑。
步骤二:开启并配置预算管理
在 预算管理 区域完成以下配置。
- 打开 预算管理 开关。

- 选择 预算维度,确定限额的统计口径:
- 加速网关实例:按整个实例的总用量统计。
- 模型供应商:按单个模型(供应商)的用量分别统计。
- 选择 用量管理,确定限额的计量方式:
- 费用开销:按费用上限(RMB)控制。
- Tokens 用量:按 Tokens 数量上限控制。
- 根据 预算维度 与 用量管理 的组合,填写对应的限额与模型预算。各组合下的配置项差异,请参见创建 AI 加速网关实例的配置说明。
- 选择 统计周期:预算用量的统计与重置周期,可选 每小时、每天、每周、每月。
- 单击 确定 保存配置。
:::tip
输入单价、输出单价为您填写的协商价或估算价,仅用于预算费用的测算口径,与 AI 加速网关的实际计费无关。
:::
超过预算后的路由方式
当某个模型(或供应商)的用量达到预算上限后,网关会将其在当前统计周期内剔除,并按实例已配置的 模型路由策略,将后续请求重新分发到 同一调用类型 的其他模型;统计周期重置后,被剔除的模型恢复参与路由。
- 负载均衡(加权轮询):达到上限的模型被剔除,其权重在剩余模型间按原始权重等比例重新分配。
例:模型 A 50% / 模型 B 25% / 模型 C 25%。当模型 A 超过预算上限后,剩余请求按模型 B 50% / 模型 C 50% 分发。
- 主备容灾:主模型达到上限后,请求 100% 切换到下一优先级的备用模型;备用模型再次达到上限时按相同顺序继续切换。
例:主模型 A 、备模型 B 。当模型 A 超过预算上限后,请求 100% 由模型 B 承接。
:::tip
- 路由策略仅在 同一调用类型(如文本生成、图像生成、语音识别等)的模型之间生效。
- 当同一调用类型的全部模型都达到预算上限时,请求将不再被路由分发。
:::
相关文档
| | | \