AI 加速网关充当客户端与大模型之间的中间层。它接收 API 请求，按预设规则处理后，转发给后端模型。本文按功能模块介绍 AI 加速网关的核心能力。

模型服务支持

网关支持接入以下平台的模型服务，统一收敛到一个调用入口：

• 火山引擎方舟
• 第三方模型服务商
  • 国内：阿里云百炼、Kimi、智谱 AI、百度千帆、腾讯混元、硅基流动、MiniMax、讯飞星辰、DeepSeek、零一万物
  • 海外：Anthropic、OpenAI、Google
• 自部署模型

调用方式

接入网关的模型支持两种调用方式：

• OpenAI 兼容协议：网关将各厂商的请求和响应统一转换为 OpenAI 格式。您只需按照 OpenAI 标准格式发送请求，无需关心后端模型的实际协议。
• 协议透传：网关原样转发厂商原生协议，不做格式转换。

:::tip
不同调用方式下，支持的网关能力和调用代码有差异。详情请参见调用方式说明、模型调用示例代码。
:::

模型路由

在单个实例内接入多个同类模型后，网关可按策略分发请求：

• 负载均衡：按权重比例将请求分散到多个模型。
• 主备容灾：按优先级调用，主模型故障或超时时自动切换到备用模型。

语义缓存与限流

• 语义缓存：拦截语义相似的请求并直接返回缓存结果，降低重复调用的 Token 开销与响应延迟。
• 限流：支持分别为 HTTP（请求速率 RPM）和 WebSocket（并发连接数）设置上限，保护后端服务免受突发流量冲击。

预算管理

按网关实例或模型供应商维度设置费用或 Tokens 用量限额。当用量达到限额后，网关按模型路由策略将请求切换到同一调用类型的其他模型，实现成本主动管控。

工具精选

在请求 LLM 前智能筛选工具（tools）列表，仅透传与当前任务最相关的工具，从而提升响应速度与准确率，并降低 Token 调用成本。

监控指标

统计并展示网关实例的请求数、Token 消耗和 QPS 等数据，帮助您掌握运行状况。