创建 AI 加速网关实例后,您可以获取实例的网关访问密钥,并使用该密钥发起模型调用,从而通过网关加速访问已接入的大模型。本文介绍网关访问密钥的概念,以及如何获取密钥并调用大模型。
在 AI 加速网关中,存在两类容易混淆的密钥,二者用途不同:
AI 加速网关支持两种调用方式,认证方式与支持的网关能力不同:
两种调用方式的详细对比和完整代码示例,请参见模型调用示例代码。
BaseUrl 和网关 API Key(网关访问密钥)。单击 查看,可查看并复制完整的网关访问密钥。
BaseUrl;调用时使用 模型厂商自身的 API Key 进行认证。
获取 BaseUrl 和 API Key 后,您可以使用任意 API 测试工具,或直接在终端使用 Curl 命令发起调用。以下以 OpenAI 兼容协议下的文本生成为例:
curl $BASE_URL/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer $AI_GATEWAY_API_KEY" \ -d '{ "model": "$MODEL_NAME", "messages": [{"role": "user", "content": "Say this is a test!"}], "temperature": 0.7 }'
将示例中的变量替换为您的实际值:
$BASE_URL:网关实例的 BaseUrl,可在 实例详情 > 基础信息 页直接复制。$AI_GATEWAY_API_KEY:网关 API Key。$MODEL_NAME:您在网关中配置的模型名称。说明
若接入的是火山方舟 Agent Plan,调用路径因调用方式而异:
$BASE_URL/chat/completions,通过 model 字段指定具体模型(语言模型为 ark-code-latest,向量化模型为 doubao-embedding-vision,视觉模型为 doubao-seedream-5.0-lite)。/api/plan/v3,即 $BASE_URL/api/plan/v3/chat/completions。各调用类型的完整示例请参见模型调用示例代码。
调用成功后,您将收到一个 HTTP 200 OK 响应,响应体中包含来自大模型的回复内容。
图像生成、语音合成、语音识别、向量模型等更多调用类型的完整示例,以及协议透传方式下各模型服务商的调用路径,请参见模型调用示例代码。
调用成功后,您可以等待几分钟,然后在 AI 加速网关 > 数据监控 页面查看监控数据。当 请求数 和 Tokens 数 图表出现对应的数据点时,说明您的请求已成功通过 AI 加速网关。查看监控数据的详细说明,请参见查询 AI 加速网关监控数据。