AI 应用在访问模型服务或 Agent 服务时,可能会遇到跨地域访问耗时长、重复请求带来较高调用成本、服务偶发失败,以及请求或响应中包含敏感信息等问题。
AI 应用加速是 CDN 面向 AI 流量场景提供的统一接入能力,用于为 AI 流量提供统一接入、链路加速、请求调度、安全防护、成本优化和可观测能力,并帮助保护后端模型服务。AI 应用加速可用于大模型、Agent、MCP 相关 API 等流量接入场景。当前已开放大模型接入能力;如有 Agent 或 MCP 服务的加速需求,请联系技术支持咨询。
大模型接入是基于火山引擎 CDN 全球边缘网络构建的 AI 流量智能接入场景之一。它将 CDN 在内容分发领域积累的加速、调度和安全能力延伸到 AI 模型调用场景,为企业提供统一的 AI API 入口。
接入后,企业无需分别对接不同模型厂商的 API。您可以在控制台配置统一域名、模型和 API Key,调用火山方舟、OpenAI、Gemini 等主流大模型,并使用链路加速、智能路由、语义缓存和安全防护等增值能力。
典型应用场景包括:
通过一个域名和一套 API 标准接入火山方舟、OpenAI、Gemini 等多家模型厂商,兼容 OpenAI 协议标准,便于已有业务迁移。
基于语义相似度匹配,高频相似请求可直接命中缓存并返回历史结果,减少重复访问模型服务,降低 Token 消耗成本,并缩短首 Token 响应时间。
内置请求和响应内容的敏感信息检测,支持凭证密钥、个人身份信息、金融信息等多类型识别,帮助降低敏感数据泄露风险。
依托火山引擎 CDN 全球边缘节点,用户请求可就近接入,优化到模型服务的链路延迟。支持中国内地、全球、全球(不含中国内地)三种加速区域;跨境场景可配置全球加速(GA)实例。
支持按条件配置路由规则,将模型请求按权重分配到不同模型。主模型失败时,可切换到备选模型列表,保障业务连续性。
支持查看模型调用的 Token 消耗、用量统计和成本分析,为优化调用策略提供数据参考。
开通 AI 应用接入的流程如下:
登录火山引擎控制台,进入「内容分发网络」>「流量接入」>「AI 应用」,单击「申请开通」提交工单。审核通过后,即可进入应用管理页面。
创建应用时,您需要完成接入配置、路由配置和高级能力配置。
应用创建成功后,系统会展示 API 调用信息。您需要在 API 调用信息的 API Key 区域单击 获取,获取用于调用 API Endpoint 的 API Key。该 Key 将作为 Bearer Token 放在请求 Header 中。
API 调用信息包括:
https://your-domain.com/api/v1/chat/completions调用示例(cURL):
curl -X POST "https://your-domain.com/api/v1/chat/completions" \
--header "Authorization: Bearer $YOUR_API_KEY" \
--header "Content-Type: application/json" \
--data '{
"model": "doubao-pro-32k",
"messages": [
{
"role": "user",
"content": "你好"
}
]
}'
完成域名 CNAME 解析配置后,即可通过统一 API 调用已配置的模型服务。控制台同时提供 Python、JavaScript、Java、Go 等多语言调用示例。