You need to enable JavaScript to run this app.
文档中心
AgentKit

AgentKit

复制全文
下载 pdf
模型接入
管理模型网关用量
复制全文
下载 pdf
管理模型网关用量
模型网关支持从 Proxy API Key 和模型两个维度控制模型调用用量。您可以为 Proxy API Key 设置速率限制、Token 日/周/月额度和 Credits 日/周/月额度,也可以为 Provider 下的模型设置每分钟 Token 上限和 Credits 换算倍率,避免单个 Key 或模型消耗过多资源。本文为您介绍如何设置模型网关用量。​
使用限制​
  • 配置了模型限流,将限制值设置为 0 后,对应 Proxy API Key 或模型不再接受新请求。​
  • 未配置 Token 限流或 Token 额度时,系统不限制对应周期或模型的 Token 用量;未配置 Credits 额度时,系统不限制对应周期的 Credits 用量。​
  • 配置了 Token 限流、Token 额度或 Credits 额度后,请求需要同时满足所有已配置的限制。任一限制触发后,系统将拒绝新的请求,并返回 HTTP 429。​
  • Credits 额度必须大于 0,最多支持两位小数;不配置表示不限制对应周期的 Credits 用量,本地 Credits 额度拒绝不触发 Retry 或 Fallback。​
  • 并发请求已经被系统受理后会继续执行,因此最终统计用量可能略高于配置值。​
管理 Proxy API Key 用量​
您可以为单个 Proxy API Key 设置每分钟速率限制、日/周/月 Token 额度,以及日/周/月 Credits 额度。请求需要同时满足所有已配置的限制,任一限制触发后,系统将拒绝新的请求。​
注意​
Tokens 与 Credits 额度独立生效,任一额度用尽均可拒绝请求。​
  • Token 额度用于控制 Proxy API Key 在指定周期内可消耗的 Token 总量。​
  • Credits 额度用于按统一 Credits 口径控制 Proxy API Key 在指定周期内可消耗的模型调用额度。​
前提条件​
已创建模型服务及 Proxy API Key。详细操作请参见创建模型服务、管理模型服务。​
操作步骤​
  1. 登录AgentKit控制台。​
  1. 在左侧导航树中选择“网关 > 模型接入”,在“Proxy API Key 管理”页签,单击待配置的 Proxy API Key 的“编辑”按钮。​
  • ​​​
  1. 在编辑页面,参考下表配置 Proxy API Key 模型限流。​
  • ​
    参数​
    说明​
    名称​
    当前 Proxy API Key 的名称,仅展示,不可修改。​
    模型范围​
    选择控制 Proxy API Key 可调用的模型范围。​
    • 全部模型:不做限制,该 Key 可调用模型服务下的全部模型。​
    • 自定义范围:可精确限制该 Key 仅可调用指定模型供应商下的具体模型。​
    供应商​
    仅“模型范围”设置为自定义范围时可配置此参数。选择 Proxy API Key 可调用模型所属的供应商。​
    具体模型配置​
    仅“模型范围”设置为自定义范围时可配置此参数。在指定供应商下,选择允许该 Key 调用的具体模型列表。​
    • 可全选或手动勾选部分目标模型。​
    • 自动授权新增模型:开启后当该供应商下新增模型时,该 Proxy API Key 自动获得调用权限;关闭则新增模型不会自动授权,需手动勾选。​
    • ​​​
    模型限流​
    是否为当前 Proxy API Key 下每个模型单独设置速率上限,以防止某一模型被过度调用。​
    开启模型限流后需配置速率限制,即模型限流的具体阈值。​
    • 0 :表示每分钟可使用的 Token 上限为 0,该 Proxy API Key 不再接受新请求。​
    • 不配置:表示不限制每分钟可使用的 Token 上限。​
    • 其他配置:表示每分钟实际可使用的 Token 上限值,单位:百万 TPM(每分钟 Token 数,单位 ×10⁶)。例如填 100 表示该 Key 每分钟最多消耗 1 亿 Token。​
    模型限额​
    是否为当前 Proxy API Key 下的模型设置用量额度,各周期独立生效,任一额度用尽即停止服务。​
    • Token 额度(单位:百万 Token):设置该 Proxy API Key 在自然日 / 自然周 / 自然月内可消耗的 Token 总量上限,分别于每日 00:00、每周一 00:00、每月 1 日 00:00(UTC+8)自动重置。​
    • 具体数值:当期累计消耗达到上限即停止服务。​
    • 0:当期额度为 0,不再接受新请求。​
    • 不填:对应周期不限制 Token 用量。​
    • Credits 额度(单位:Credits):设置该 Proxy API Key 在自然日 / 自然周 / 自然月内可消耗的 Credits 总量上限,分别于每日 00:00、每周一 00:00、每月 1 日 00:00(UTC+8)自动重置。Credits 为内部治理单位,使用前请在供应商模型配置中设置 Credits 换算倍率。​
    • 大于 0 的数值:启用对应周期的 Credits 额度控制,最多可保留两位小数。​
    • 不填:不限制对应周期的 Credits 用量。​
    说明​
    • Credits 额度规则:每日、每周、每月额度相互独立,任一周期用尽后,系统会拒绝新的请求。当开启模型限额,但三个 Credits 额度配置全部为空时,Proxy API Key 不执行 Credits 额度控制,已产生的当前周期计数仍会保留。​
    • 授权模型倍率:启用 Credits 额度控制时,系统会校验 Proxy API Key 授权范围内的模型是否已配置有效的 Credits 换算倍率。仅当授权模型具备有效倍率时,Proxy API Key 才能保存 Credits 额度配置。​
    ​
  1. 单击“确定”按钮,在 Proxy API Key 列表中可查看当前 Key 的额度使用情况。​
  • ​​​
  1. (可选)重置额度。如果 Key 的周期额度(日/周/月)使用率使用已达 100%,管理员可重置此周期额度。​
  1. 在 Proxy API Key 列表中单击目标 Key 操作列的“重置额度”按钮。​
  • ​​​
  1. 选择需要重置 Token 额度/ Credits 额度,然后勾选待重置的周期,单击“确定”按钮完成操作,重置后对应周期剩余额度将恢复至 100%。​
  • ​​​
管理模型速率限制和 Credits 换算倍率​
多个 Proxy API Key 调用同一 Provider 下的同一模型时,可以为该模型设置统一的每分钟 Token 上限,该上限由调用该模型的全部 Proxy API Key 共享。如需使用 Credits 额度控制或 Credits 用量统计,还需要为 Provider 下的模型配置 Credits 换算倍率,配置后系统会基于每次实际上游 Attempt 的 Tokens Usage 和模型倍率信息,计算对应的 Credits 用量。​
前提条件​
已在模型服务中添加 Provider,并完成模型配置。详细操作请参见管理模型服务。​
操作步骤​
  1. 登录AgentKit控制台。​
  1. 在左侧导航树中选择“网关 > 模型接入”,在“供应商与模型管理”页签,单击待配置模型供应商卡片右上角的“… > 编辑”按钮。​
  • ​​​
  1. 在编辑页面,参考下表配置模型信息。​
  • ​
    参数​
    说明​
    供应商​
    当前 Proxy API Key 的名称,仅展示,不可修改。​
    名称​
    仅自定义类型的模型供应商需配置此参数。输入自定义模型供应商的展示名称,如:DeepSeek。​
    说明​
    自定义类型供应商是指除平台预置的火山方舟-模型广场、火山方舟-AgentPlan、火山方舟-CodingPlan 之外的其他供应商。​
    具体模型配置​
    配置当前供应商下可调用的模型,可分别为模型设置 TPM、输入倍率、缓存倍率和输出倍率,其中输入倍率、缓存倍率、输出倍率取值范围均为 0 ~ 1000,最多可保留 2 位小数。​
    说明​
    • Credits 换算用于企业内部用量管控的统一计量单位,不等于账单金额、账户余额或模型定价。由于不同模型的单价不同,管理员需要为每个模型配置换算倍率,把模型实际消耗的 Token,方便跨模型统一管理。​
    • 倍率表示每 1M Tokens 对应的 Credits。可参考模型每百万 Tokens 单价,按企业统一比例配置,即:倍率 = 每百万 Tokens 单价 × 企业自定义换算系数。​
    • 配置说明:​
    • TPM:模型每分钟 Token 用量上限,单位百万。​
    • 输入倍率(Credits / 1M Tokens):每消耗 1M 入 Tokens 对应的 Credits 数。不配置默认视为 0,即该模型输入不计入 Credits 用量。​
    • 缓存倍率(Credits / 1M Tokens):每消耗 1M 缓存命中 Tokens 对应的 Credits。​
    • 不配置:缓存倍率按输入倍率计算。​
    • 配置:缓存部分从输入倍率中扣除,按缓存倍率计算。​
    • 输出倍率(Credits / 1M Tokens):每消耗 1M 输出 Tokens 对应的 Credits 数。不配置默认为 0,即该模型输出不计入 Credits 用量。​
    • 添加模型:输入当前该供应商对外提供的标准模型 ID (即调用 API 时传入的model参数值),例如deepseek-v4-pro,然后单击“添加”按钮。系统不会自动拉取模型列表,如需添加多个模型,请重复操作。​
    • ​​​
    供应商 Base URL​
    配置供应商模型服务的基础访问地址,地址需与所选协议和供应商要求一致。​
    • 此地址是模型服务的 API 访问地址前缀,系统将通过该地址向供应商发起模型调用请求。​
    • 配置说明​
    • 选择火山方舟内置供应商(火山方舟-模型广场、火山方舟-Agent Plan、火山方舟-Coding Plan)时,系统会自动带入对应的默认地址,通常无需修改。以下情况需要手动调整:​
    • 您的账号已接入私有化部署或专属集群的火山方舟服务,访问地址与公有云不同。​
    • 您希望将请求路由到特定的地域节点或自定义代理。​
    供应商 API Key​
    配置访问供应商模型服务所需的真实 API Key,用于向模型供应商发起调用请求时进行身份认证的密钥。支持以下两种方式:​
    • 选择已有:从当前账号下已托管的 API Key 列表中选择,推荐使用此方式,便于统一管理和轮换密钥。​
    • 自定义输入:手动填写名称和 API Key 值,适用于首次录入或临时使用的密钥。​
    备用模型​
    配置当前模型不可用时的备用模型,当前模型访问异常/额度用尽时,将自动切换至备用模型。​
    ​
  1. 单击“确定”按钮,配置完成后在“供应商与模型管理”页签单击目标模型供应商卡片,在详情信息中可查看模型限流信息。​
  • ​​​
最近更新时间:2026.09.28 11:22:52
这个页面对您有帮助吗?
有用
有用
无用
无用