接入 AI 加速网关的模型支持 OpenAI 兼容协议 和 协议透传 两种调用方式。两种方式在协议转换、支持的网关能力和调用代码上存在差异,直接影响您能使用哪些网关功能。建议在创建网关实例前阅读本文,根据业务需要选择合适的调用方式。
使用网关生成的 API Key,以统一的 OpenAI 协议格式发送请求和接收响应。
使用模型厂商自身的 API Key 和原生协议,网关原样转发请求和响应,不做协议转换。
除请求加速外,模型路由、语义缓存、限速、预算管理、工具精选等能力均依赖网关的协议转换,仅在 OpenAI 兼容协议下可用。两种调用方式支持的网关能力对照如下。
| | | | \
| 网关能力 | OpenAI 兼容协议 | 协议透传 |
|---|---|---|
| 请求加速 | ✅ 支持 | ✅ 支持 |
| 模型路由(负载均衡 / 主备容灾) | ✅ 支持 | ❌ 不支持 |
| 语义缓存 | ✅ 支持 | ❌ 不支持 |
| 限速 | ✅ 支持 | ❌ 不支持 |
| 预算管理 | ✅ 支持 | ❌ 不支持 |
| 工具精选 | ✅ 支持 | ❌ 不支持 |
因此,若只需借助边缘网络为现有调用链路做请求加速、并保留厂商原生接口,可选择协议透传;若希望使用路由、缓存、限流、预算、工具精选等网关能力,请选择 OpenAI 兼容协议。
:::tip
不同调用方式的差异从创建实例、添加模型时就已体现:添加模型时是否填写模型 API Key,决定了该模型支持的调用方式(不填写则仅支持协议透传)。详情请参见创建 AI 加速网关实例。此外,两种调用方式下的调用代码也有差异,详情请参见模型调用示例代码。
:::