本文介绍 AI 加速网关涉及的核心概念与术语，帮助您快速理解产品的组成与工作方式。建议在使用前先了解这些概念，以便更顺畅地阅读其他文档。

AI 加速网关

基于全站加速（DCDN）边缘网络构建的模型服务网关，为大模型服务（MaaS）的 API 调用提供统一入口与加速能力。它作为客户端与后端大模型之间的中间层，接收 API 请求并按预设规则处理后转发给后端模型。产品概览请参见什么是 AI 加速网关。

网关实例

AI 加速网关的基本管理单元，是统一管理和加速大模型 API 调用的入口。一个实例对应一个 BaseUrl（含加速域名），可同时关联多种调用类型（如文本生成、图像生成、语音合成等）的模型，网关根据请求路径自动路由到对应类型的模型。创建方法请参见创建 AI 加速网关实例。

服务地址、BaseUrl 与加速域名

三者共同描述客户端调用网关时使用的地址，含义有所区分：

• 加速域名：网关实例的公开访问域名，是服务地址中的域名部分。默认使用产品提供的根域名；配置了第三方模型服务商（海外）模型时，需填写自定义域名作为加速域名。
• BaseUrl（即服务地址）：客户端发起调用时使用的完整服务地址前缀，由加速域名构成。加速域名是它的组成部分，两者并不等同。

客户端将请求发送到 BaseUrl，即可经加速节点就近接入并转发到后端模型。加速域名的配置方法请参见创建 AI 加速网关实例。

API Key

调用凭证。需要区分两类：

• 网关 API Key：由网关实例生成，用于客户端调用网关（OpenAI 兼容协议方式使用）。
• 模型 API Key：由后端模型服务商提供，配置模型时填写，用于网关回源访问后端模型（协议透传方式下客户端直接使用厂商 API Key）。

后端模型

接入网关并实际处理请求的大模型服务，来源包括火山引擎方舟模型、第三方模型服务商模型（国内、海外）和自部署模型。支持的模型范围请参见功能特性。

调用类型

模型的服务场景，如文本生成、图像生成、语音识别、语音合成、向量模型等。网关的路由、预算等策略仅在同一调用类型的模型之间生效，不同调用类型的模型独立调度。

调用方式

客户端调用网关的两种协议方式：

• OpenAI 兼容协议：网关将各厂商请求和响应统一转换为 OpenAI 格式，支持网关的全部能力。
• 协议透传：网关原样转发厂商原生协议、不做转换，仅提供请求加速。

两种方式的差异与选型建议请参见调用方式说明。

模型路由

在单个实例内接入多个同类模型后，网关按策略分发请求的机制，包含两种策略：

• 负载均衡：按设定权重比例将请求分散到多个同类模型。
• 主备容灾：按优先级调用，主模型故障或超时时自动切换到备用模型。

配置方法请参见配置多模型路由。

语义缓存

网关缓存模型的成功响应，当后续收到语义相似的请求时直接从加速节点返回缓存结果，从而减少对后端模型的重复调用、降低 Token 开销并加快响应。配置方法请参见配置缓存与限流。

限流

对请求速率设置上限以保护后端服务的能力，按协议分别限制：HTTP 限制每分钟请求数（RPM），WebSocket 限制并发连接数。

预算管理

按网关实例或模型供应商维度设置费用或 Tokens 用量限额的能力。用量达到限额后，网关按模型路由策略将请求切换到同一调用类型的其他模型，实现成本主动管控。配置方法请参见配置预算管理控制调用成本。

工具精选

在请求转发到 LLM 之前，网关对请求携带的工具（tools）列表做智能筛选，仅将与当前任务最相关的工具透传给模型，从而缩短上下文、降低 Token 开销并提升响应速度与工具选择准确率。配置方法请参见使用工具精选提升 Function Calling 效率。

精品公网

用于加速中国大陆客户端跨境访问海外第三方模型服务商（Anthropic、OpenAI、Google）的网络通道。当加速区域为中国大陆且实例配置了海外第三方模型时可开启，以降低跨境延迟、提升访问稳定性。精品公网将产生额外费用，详情请参见 AI 加速网关计费说明。