基本信息

实例名称

实例的标识名称。

实例类型

指定实例用途。目前仅支持 MaaS API 加速，用于统一管理和加速大模型 API 调用。

模型配置

模型路由策略

请求分发规则。可选项：

• 负载均衡：按配置的 权重（1-100 的整数）比例分配请求，适用于将流量分散到多个同类模型。
• 性能择优：网关依据各模型近期线上调用的首 Token 时延（TTFT）动态择优，自动路由到当前响应最快的模型，适用于对流式输出“首字等待”体感敏感的文本生成场景。
• 主备容灾：按模型顺序（可拖拽调整）调用。主模型失败或超时后，自动尝试调用备用模型，适用于保障核心服务高可用。

模型/智能体

单击 添加模型 接入后端模型。具体配置项因模型类型而异，请参见下方各模型类型的配置说明。最多支持添加 50 个。

加速配置

加速区域

选择您的用户主要所在的地理区域，以便网关能够就近接入，优化网络延迟。可选项：中国大陆、全球、全球（除中国大陆）。

精品公网

（仅当加速区域为中国大陆且实例配置了第三方模型服务商（海外）模型时出现）开启后，将通过精品公网通道加速第三方模型服务商（海外）模型（Anthropic、OpenAI、Google）的访问，降低跨境网络延迟，提升访问稳定性。精品公网将产生额外费用，详情请参见 AI 加速网关计费说明。

加速域名

设置实例的公开访问地址。加速域名是客户端调用的 BaseUrl 中的域名部分。具体填写方式因是否配置第三方模型服务商（海外）模型而异：

• 未配置第三方模型服务商（海外）模型时，默认使用产品提供的根域名，您可以自定义域名前缀。
• 配置第三方模型服务商（海外）模型后，默认需要您填写自定义域名作为加速域名，请确保域名可用。如需使用产品提供的根域名，可提交工单申请。

HTTPS 配置

（仅自定义加速域名时可见）开启后，网关使用 HTTPS 提供安全的加速服务。开启 HTTPS 时需选择证书。

证书来源

（仅开启 HTTPS 时）证书的来源方式。可选项：

• 新上传证书：直接在当前页面填写证书名称、证书内容（PEM）和私钥内容（PEM）。证书将托管至 火山引擎证书中心。
• 已有托管证书：从 火山引擎证书中心 已托管的证书中选择。

服务授权

（仅开启 HTTPS 时）AI 加速网关需要通过跨服务访问授权获取读写火山引擎证书中心的权限，以管理用于 HTTPS 的证书。授权状态显示为 已授权 表示授权已完成。如未授权，请按页面提示完成授权。

证书名称（新上传证书）

（仅证书来源为新上传证书时）新上传证书的自定义名称，用于在证书中心中标识该证书。

证书内容（新上传证书）

（仅证书来源为新上传证书时）PEM 格式的证书内容，需以 -----BEGIN CERTIFICATE----- 开头、-----END CERTIFICATE----- 结尾，可包含证书链。

私钥内容（新上传证书）

（仅证书来源为新上传证书时）PEM 格式的私钥内容。支持 RSA 和 ECC 等密钥算法：

• RSA 私钥：以 -----BEGIN RSA PRIVATE KEY----- 开头、-----END RSA PRIVATE KEY----- 结尾。
• ECC 私钥：以 -----BEGIN EC PRIVATE KEY----- 开头、-----END EC PRIVATE KEY----- 结尾。

请确保上传的私钥与证书匹配。

选择证书（已有托管证书）

（仅证书来源为已有托管证书时）从下拉列表中选择已托管在火山引擎证书中心的证书。

缓存配置

缓存启用状态

开启后，网关会缓存模型的成功响应。当后续收到相似的请求时，将直接从缓存中返回结果，提升性能并降低成本。

缓存时长

（仅开启缓存时）缓存的有效时间。超过此时长，缓存将被视为过期并自动清除。可选项：1 分钟、5 分钟、30 分钟、1 小时、1 天、1 周。

限流配置

限流配置

开启后，可设置请求速率限制，保护后端服务免受流量冲击。

HTTP 协议

（仅开启限流时）限制每分钟的请求数（RPM）。

WebSocket 协议

（仅开启限流时）限制并发连接数。

预算管理配置

预算管理

开启后，可为网关实例或模型供应商设置用量限额。当用量达到限额后，网关将按 模型路由策略 把请求重新分发到同一调用类型的其他模型，从而控制成本。

预算维度

限额的统计口径。可选项：

• 加速网关实例：按整个实例的总用量统计。
• 模型供应商：按单个模型（供应商）的用量分别统计。

用量管理

限额的计量方式。可选项：

• 费用开销：按费用上限（RMB）控制。
• Tokens 用量：按 Tokens 数量上限控制。

费用上限

（仅 预算维度 为 加速网关实例 且 用量管理 为 费用开销 时）实例的费用总上限，单位为 RMB，最小值为 1。

Tokens 用量上限

（仅 预算维度 为 加速网关实例 且 用量管理 为 Tokens 用量 时）实例的 Tokens 用量总上限，单位为 Tokens，最小值为 100。

模型预算

为单个模型设置预算。模型下拉项与实例已配置的模型联动，支持 添加模型预算 和 删除。表格列因 预算维度 和 用量管理 的组合而异：

• 加速网关实例 + 费用开销：模型、输入单价、输出单价（单位均为 元/千 Tokens）。
• 加速网关实例 + Tokens 用量：无模型预算表格。
• 模型供应商 + 费用开销：模型、输入单价、输出单价（元/千 Tokens）、费用上限（RMB）。
• 模型供应商 + Tokens 用量：模型、Token 上限（Tokens）。

统计周期

预算用量的统计与重置周期。可选项：每小时、每天、每周、每月。

工具精选配置

工具精选开关

开启后，网关在请求 LLM 前会先对请求携带的工具（tools）列表做智能筛选，仅将与当前任务最相关的工具透传给模型，从而提升模型响应速度与准确率，并降低 Token 调用成本。默认关闭。

触发条件（工具数量）

（仅开启工具精选时）触发精选的工具数量下限。当单次请求携带的工具数达到该阈值时才执行精选，避免对小工具集做不必要的处理。默认值为 10 个。

筛选模式

（仅开启工具精选时）保留工具的计算方式。可选项：

• 按数量筛选（Top N）：保留相关性最高的固定数量工具。
• 按比例筛选：按请求携带工具总数的百分比保留相关性最高的工具。

保留工具数量

（仅 筛选模式 为 按数量筛选（Top N） 时）保留的工具个数，默认值为 5 个。该值不能超过 触发条件 中设置的工具数量。

保留工具比例

（仅 筛选模式 为 按比例筛选 时）保留工具占请求携带工具总数的百分比，默认值为 10%。

供应商

选择 字节跳动火山方舟。

配置类型

火山方舟的接入配置类型。可选项：

• 模型：接入火山方舟的单个模型，需配置模型 API Key 与推理接入点。
• Agent Plan：接入火山方舟 Agent Plan，仅需配置模型 API Key，无需选择推理接入点、模型格式与调用类型；支持语言、向量化及视觉等模型类型。

模型 API Key

火山方舟模型的访问凭证，必填。推荐选择 从列表中选择，自动加载已创建的 API Key；也支持 自定义输入。

推理接入点

（仅配置类型为 模型 时）模型在火山方舟的推理端点地址。支持 预置推理接入点（可搜索模型名称）和 自定义推理接入点 两类来源，可在下拉菜单中切换选择。

模型格式

（仅配置类型为 模型 时）模型通信协议，取值固定为 OpenAI，为系统只读展示项。

调用类型

（仅配置类型为 模型 时）模型服务场景。可选项：文本生成、图像生成、语音识别、向量模型、语音合成、视频生成。

供应商

选择您的模型服务提供商。支持的第三方模型服务商包括：

• 国内：阿里云百炼大模型服务平台、Kimi 开放平台、智谱 AI 开放平台、百度千帆、腾讯混元、硅基流动 SiliconCloud、MiniMax 开放平台、讯飞星辰 MaaS 平台、DeepSeek 开放平台、零一万物大模型开放平台
• 海外：Anthropic、OpenAI、Google

API Key

模型服务商平台提供的 API Key。

模型格式

模型通信协议，目前仅支持 OpenAI。

调用类型

模型服务场景，目前仅支持 文本生成。

供应商

选择 自部署模型。

BaseURL

自部署模型的服务地址。

API Key

自部署模型的 API Key。

模型格式

模型通信协议，目前仅支持 OpenAI。

调用类型

模型服务场景。可选项：文本生成、语音合成、语音识别。对于语音合成和语音识别模型，网关支持透传以下额外配置。

协议类型

（仅语音合成）模型通信协议。可选项：HTTP、WebSocket。

采样率

（仅语音合成）音频采样率（Hz），需输入正整数，支持添加多个值，最多 10 个。

位深

（仅语音合成）音频位深度，支持多选，目前仅支持 16bit。

通道数

（仅语音合成）音频通道数，支持多选。可选项：1（单声道）、2（立体声）。

集成方式

（仅 HTTP 语音合成）网关处理用户请求的方式：

• 攒句后合成：平衡延迟与连贯性。按首个短分句标点（如逗号）切分并发送首句给模型进行合成，以快速返回首包；后续按完整分句标点（如句号、问号等）切分；如果单个句子过长，网关也会自适应使用短分句标点切分。
• 按短句合成：优先保证实时性。将每个分句（无论是短分句还是完整句子）直接发送给模型处理，可能导致合成语音在句子间的语调和情感上缺乏连贯性。

结果输出方式

（仅语音识别）识别结果返回方式：

• 全量输出：识别结束后一次性返回。
• 增量输出：识别过程中实时逐步返回。

是否支持 VAD

（仅语音识别）模型是否支持语音活动检测（Voice Activity Detection）。开启后需配置以下参数。

默认前缀时长

（仅开启 VAD 时）语音起始前保留的音频时长，单位为毫秒（ms），需输入不小于 1 的整数。

默认静音时长

（仅开启 VAD 时）判定语音结束所需的静音时长，单位为毫秒（ms），需输入不小于 1 的整数。

默认激活阈值

（仅开启 VAD 时）语音活动检测的激活灵敏度阈值，取值范围为 0 到 1。