AI 加速网关提供语义缓存和限流两项能力，帮助您在高并发场景下降低后端模型的调用压力：缓存可直接从边缘节点返回相似请求的结果，减少重复调用带来的成本和延迟；限流可对请求速率设置上限，保护后端服务免受突发流量冲击。本教程介绍如何为网关实例配置缓存与限流。

适用场景 #

• 重复请求多：业务中存在大量语义相似的请求（如固定问答、模板化提示词），开启缓存可显著降低模型调用次数与响应时间。
• 成本敏感：希望减少对后端模型的实际调用量，从边缘缓存中返回结果以降低 Token 开销。
• 流量保护：需要对客户端的请求速率或并发连接数设置上限，避免突发流量打垮后端模型服务。

前提条件 #

已完成 快速上手 MaaS API 加速，即已创建 AI 加速网关实例并获取到 BaseUrl 和 API Key。本教程在该实例基础上配置缓存与限流，不再重复实例的创建步骤。

配置缓存 #

开启缓存后，网关会缓存模型的成功响应。当后续收到相似请求时，将直接从缓存中返回结果，提升性能并降低成本。

操作步骤 #

1. 登录 全站加速控制台，进入目标实例的编辑页面。
2. 在 缓存配置 区域，打开 缓存启用状态。
   
3. 设置 缓存时长：缓存的有效时间，超过此时长缓存将被视为过期并自动清除。可选项：1 分钟、5 分钟、30 分钟、1 小时、1 天、1 周。
4. 单击 确认 保存配置。

配置限流 #

开启限流后，可设置请求速率限制，保护后端服务免受流量冲击。网关按调用协议分别限制。

操作步骤 #

1. 登录 全站加速控制台，进入目标实例的编辑页面。
2. 在 限流配置 区域，打开 限流配置 开关。
   
3. 按业务使用的协议设置限流阈值：
   • HTTP 协议：限制每分钟的请求数（RPM）。
   • WebSocket 协议：限制并发连接数。
4. 单击 确认 保存配置。

相关文档 #