文档中心

API 网关

产品简介

应用场景

应用场景

本文为您介绍 API 网关的典型应用场景。

基于 GPU 负载的智能路由

根据自定义指标，综合判断 GPU 实际负载情况，将请求调度到最优实例，提升整体利用率。

支持流式处理能力，减少内存占用。

动态调度 GPU 资源。

基于 Token 的治理功能。

大模型 Token 用量限制

基于 API-Key 的身份体系认证和监控能力，准确识别消费者身份并进行智能限流。

兼容 OpenAI 的 API-Key 认证。

监控不同 API-Key 的 Token 使用。

不同消费者的 Token 用量分配。

多模型管理

AI 网关支持对接常见的大语言模型服务和用户自建推理服务，为大语言模型提供统一的访问入口。

屏蔽不同模型调用差异、简化调用。

不同模型间 Fallback 、增强稳定性。

模型不同版本通过流量镜像灰度测试。

多集群管理& Ingress 配置同步

同时具备南北向和东西向流量管控能力，帮助业务集中化管理 API，减少转发次数和系统复杂度。

支持多集群管理，灵活部署。

统一流量入口，简化运维管理。

兼容业界 ingress 标准，监听资源自动同步。

最近更新时间：2025.06.06 17:16:25

这个页面对您有帮助吗？

有用

有用

无用

无用