- 文档首页
AgentKit
AgentKit
用户指南
网关
模型接入
管理模型网关用量
管理模型网关用量
模型网关支持从 Proxy API Key 和模型两个维度控制模型调用用量。您可以为 Proxy API Key 设置速率限制、Token 日/周/月额度和 Credits 日/周/月额度,也可以为 Provider 下的模型设置每分钟 Token 上限和 Credits 换算倍率,避免单个 Key 或模型消耗过多资源。本文为您介绍如何设置模型网关用量。
- 配置了模型限流,将限制值设置为 0 后,对应 Proxy API Key 或模型不再接受新请求。
- 未配置 Token 限流或 Token 额度时,系统不限制对应周期或模型的 Token 用量;未配置 Credits 额度时,系统不限制对应周期的 Credits 用量。
- 配置了 Token 限流、Token 额度或 Credits 额度后,请求需要同时满足所有已配置的限制。任一限制触发后,系统将拒绝新的请求,并返回 HTTP 429。
- Credits 额度必须大于 0,最多支持两位小数;不配置表示不限制对应周期的 Credits 用量,本地 Credits 额度拒绝不触发 Retry 或 Fallback。
- 并发请求已经被系统受理后会继续执行,因此最终统计用量可能略高于配置值。
您可以为单个 Proxy API Key 设置每分钟速率限制、日/周/月 Token 额度,以及日/周/月 Credits 额度。请求需要同时满足所有已配置的限制,任一限制触发后,系统将拒绝新的请求。
注意
Tokens 与 Credits 额度独立生效,任一额度用尽均可拒绝请求。
- Token 额度用于控制 Proxy API Key 在指定周期内可消耗的 Token 总量。
- Credits 额度用于按统一 Credits 口径控制 Proxy API Key 在指定周期内可消耗的模型调用额度。
- 在左侧导航树中选择“网关 > 模型接入”,在“Proxy API Key 管理”页签,单击待配置的 Proxy API Key 的“编辑”按钮。
-
- 在编辑页面,参考下表配置 Proxy API Key 模型限流。
- 单击“确定”按钮,在 Proxy API Key 列表中可查看当前 Key 的额度使用情况。
-
- (可选)重置额度。如果 Key 的周期额度(日/周/月)使用率使用已达 100%,管理员可重置此周期额度。
- 在 Proxy API Key 列表中单击目标 Key 操作列的“重置额度”按钮。
-
- 选择需要重置 Token 额度/ Credits 额度,然后勾选待重置的周期,单击“确定”按钮完成操作,重置后对应周期剩余额度将恢复至 100%。
-
多个 Proxy API Key 调用同一 Provider 下的同一模型时,可以为该模型设置统一的每分钟 Token 上限,该上限由调用该模型的全部 Proxy API Key 共享。如需使用 Credits 额度控制或 Credits 用量统计,还需要为 Provider 下的模型配置 Credits 换算倍率,配置后系统会基于每次实际上游 Attempt 的 Tokens Usage 和模型倍率信息,计算对应的 Credits 用量。
已在模型服务中添加 Provider,并完成模型配置。详细操作请参见管理模型服务。 - 在左侧导航树中选择“网关 > 模型接入”,在“供应商与模型管理”页签,单击待配置模型供应商卡片右上角的“… > 编辑”按钮。
-
- 单击“确定”按钮,配置完成后在“供应商与模型管理”页签单击目标模型供应商卡片,在详情信息中可查看模型限流信息。
-
最近更新时间:2026.09.28 11:22:52