AI 加速网关充当客户端与大模型之间的中间层。它接收 API 请求，按预设规则处理后，转发给后端模型。本文按功能模块介绍 AI 加速网关的核心能力。

模型服务支持 #

网关支持接入以下平台的模型服务，统一收敛到一个调用入口：

• 火山引擎方舟
  • 支持接入单个模型，也支持接入 Agent Plan。Agent Plan 是火山方舟提供的一种接入配置类型，一次配置即可覆盖语言、向量化、视觉等多种模型类型。
• 第三方模型服务商
  • 国内：阿里云百炼、Kimi、智谱 AI、百度千帆、腾讯混元、硅基流动、MiniMax、讯飞星辰、DeepSeek、零一万物
  • 海外：Anthropic、OpenAI、Google
• 自部署模型

调用方式 #

接入网关的模型支持两种调用方式：

• OpenAI 兼容协议：网关将各厂商的请求和响应统一转换为 OpenAI 格式。您只需按照 OpenAI 标准格式发送请求，无需关心后端模型的实际协议。
• 协议透传：网关原样转发厂商原生协议，不做格式转换。

模型路由 #

在单个实例内接入多个同类模型后，网关可按策略分发请求：

• 负载均衡：按权重比例将请求分散到多个模型。
• 主备容灾：按优先级调用，主模型故障或超时时自动切换到备用模型。
• 性能择优：依据各模型近期线上调用的首 Token 时延（TTFT）动态择优，自动路由到当前响应最快的模型，仅对已开启流式响应的文本生成模型生效。

语义缓存与限流 #

• 语义缓存：拦截语义相似的请求并直接返回缓存结果，降低重复调用的 Token 开销与响应延迟。
• 限流：支持分别为 HTTP（请求速率 RPM）和 WebSocket（并发连接数）设置上限，保护后端服务免受突发流量冲击。

预算管理 #

按网关实例或模型供应商维度设置费用或 Tokens 用量限额。当用量达到限额后，网关按模型路由策略将请求切换到同一调用类型的其他模型，实现成本主动管控。

工具精选 #

在请求 LLM 前智能筛选工具（tools）列表，仅透传与当前任务最相关的工具，从而提升响应速度与准确率，并降低 Token 调用成本。

监控指标 #

统计并展示网关实例的请求数、Token 消耗和 QPS 等数据，帮助您掌握运行状况。