火山方舟
火山方舟
文档指南
请输入
- 文档首页
火山方舟推理在线推理（TPM 保障包）
复制全文
下载 pdf在线推理（TPM 保障包）
文档反馈
问问助手在线推理（TPM保障包） 使用平台预留资源，保障模型请求吞吐量达到指定TPM（Tokens Per Minute，每分钟处理的Token总量），目前拥有最高优先级。同时，溢出部分使用 在线推理（常规） 处理 token，并溢出 token 按降级后的推理模式计费。本文介绍在线推理（TPM 保障包） 的主要优势、支持的模型和使用流程。
主要优势
- 更低的延迟：相比 在线推理（常规），在线推理（TPM 保障包） 的延迟更低，通常低 1/3 - 1/2。
- 更高的吞吐量：通过预留资源保障指定TPM吞吐量，同时支持超过默认限流额度的并发请求数。
- 更强稳定性：提供高资源确定性保障，在保障范畴内不会命中异常流量熔断、限速策略，持续保障业务服务可用性。
- 弹性伸缩：后付费TPM保障包，支持定时调整TPM保障包数量，贴合业务波峰波谷，提升资源利用率并降低成本。
- 灵活组合：
- 组合使用后付费与预付费保障包：在业务高峰时段，您可以将按小时（后付费）与按天（预付费）的保障包叠加使用，以更好地匹配流量峰谷，从而避免资源浪费。
- 组合使用保障包与常规在线推理：系统会优先消耗您的保障包额度。当请求超出额度后，将自动降级为常规在线推理模式。这种方式既能为可预估的流量提供性能保障，也能为临时流量高峰提供缓冲。请注意，超出部分的流量会计算在默认限流额度中。
适用场景
- 追求更低延迟，更高并发的高需业务。
- 可预估流量大小的高流量业务。
- 无法接受偶发的资源紧张报错的业务。
注意
- TPM 保障包保障输出 Token 生成速率（TPOT，Time Per Output Token），不同模型能达到的延迟水平存在差异。
- TPM 保障包不保障首 Token 延迟（TTFT，Time To First Token），但通常 TTFT 优于公共资源池。
支持范围
支持模型
支持接口
使用流程
1 创建推理接入点
TPM 保障包需与推理接入点（Endpoint，调用推理服务的网络入口，简称 接入点）绑定后使用，即在创建或编辑接入点时，购买或调整TPM保障包。
- 访问 创建推理接入点 ，按页面引导填写。注意选择接入模式为 TPM保障包。
- 强烈推荐打开右上角 创建说明 开关，帮助您了解每个配置项的使用场景和含义。
- 根据业务需求使用 TPM计算器 （ 选择接入模式为 TPM保障包 后，在右侧 创建说明 中可见）预估需购买的输入和输出额度，并 申请配额。
- 详细抵扣说明见 额度抵扣说明。
- 创建完成后进入 调度中 状态，当状态变成 健康 后，可正常调用。
说明
推理接入点默认会创建在 default 项目下，如果您希望在其他项目下创建，请在导航栏左下角切换项目。
2 获取 Endpoint ID
3 通过 Endpoint ID 调用模型
额度抵扣说明
注意
TPM 额度按分钟计量（Tokens Per Minute），并非瞬时额度：
- 瞬时上限与溢出：单位时间内可用的最大瞬时额度约为分钟额度的 25% 左右；超出部分会自动降级为 在线推理（常规）。
- 使用建议：建议将请求流量在分钟内均匀分发，避免瞬时突发。
说明 | 图示：TPM计算器 |
抵扣逻辑
| |
弹性伸缩
规则介绍
后付费TPM保障包，支持配置弹性伸缩规则，帮助您根据业务负载动态调整TPM保障包数量，进一步提升资源利用率并降低成本。
支持以下两种弹性规则，多个弹性规则可叠加，灵活覆盖全业务周期。详细配置要求和注意事项请参见控制台 创建说明。
- 定时弹性：您可以设置在某一时间节点（可精确到分钟）后将TPM保障包的输入TPM（每分钟可处理的输入Token总量）和输出TPM（每分钟可生成的输出Token总量）调整到您所需的新的值。
- 周期性弹性：您可以「按天重复」、「按周重复」或「Cron表达式」来设置时间规则，TPM保障包的输入TPM和输出TPM将会在您所设置的时间节点后调整到您所需的新的值。
配置示例
- 业务需求：下午6点到晚上9点期间，某 接入点 需要大约 10000 TPM 的保障包。
- 规则设置：可通过设置两条周期性弹性规则，如下表。
规则说明 | 示例截图 |
每日 18:00 触发：
| |
每日 21:00 触发：
| |
订阅通知
您可以使用火山引擎消息通知服务（后简称 SNS） 来感知TPM保障包信息通知。
订阅流程
- 申请 “SNS开白” ，使用请提交 工单 申请，并同步申请对应的消息事件：
- ModelTPMNewFailed：TPM保障包新购失败告警
- ModelTPMScaleUpFailed：TPM保障包扩容失败告警
- 在 主题 页面创建主题。
- 发布者选项指定账号：2100444922
- 服务选择：ark
- 在 云服务事件订阅 页面创建事件订阅。Topic TRN选择刚刚创建的主题，事件选择ModelTPMNewFailed、ModelTPMScaleUpFailed。
- 在订阅页面，订阅前面创建的主题，并配置可接收端地址
- 配置完订阅后，SNS 会向接收端发送对应的确认链接，需确认该链接来完成订阅，确认链接demo如下。需要回调下文中SubscribeURL
-
- 回调成功后可在 订阅 页面看到对应的订阅状态为：已确认，表示订阅已完成。
订阅信息内容格式
TPM保障包订阅失败时通知的内容。
ModelTPMNewFailed
TPM保障包新购失败告警
ModelTPMScaleUpFailed
TPM保障包扩容失败告警
调整数量/续费/退订/修改弹性规则
- 访问 在线推理，切换到自定义推理接入点页签。
- 单击目标 接入点 名称，进入 接入点 概览页。
- 在算力保障区域，根据需要对TPM保障包进行调整数量、续费、退订。
- 在算力保障区域，单击 弹性详情，可查看当前的弹性规则。单击 调整弹性，可对弹性规则进行修改。
注意
未到期的TPM保障包退订会产生惩罚系数，无法 100%退费。
使用限制
- 支持通过 Chat API 调用模型。
- 不支持结构化输出(beta)（ response_format.type 无法设置为 json_object、json_schema ）。
- 不支持视频输入。
- 不支持 Create context caching API 、 Responses API 。
- 当接入点请求超过保障包额度时，自动切换为普通在线推理模式，以 按Token付费 模式收费。
- 模型请求的输入范围符合下方条件。如不符合，无法使用 TPM 保障包，请求返回的 service_tier 字段为default，即普通在线推理模式，不扣减保障包额度。
- Doubao 模型，输入长度 (0, 128k]。
- DeepSeek 模型，输入长度(0, 64k]。
购买说明
常见问题
最近更新时间：2026.10.20 08:26:35
这个页面对您有帮助吗？
有用
有用
无用
无用