API 网关
API 网关
文档指南
请输入
- 文档首页
API 网关产品简介产品优势
复制全文
下载 pdf产品优势
文档反馈
问问助手API 网关提供全面的 API 托管服务，不仅涵盖传统微服务网关的核心能力，还针对大语言模型（LLM）和生成式 AI 应用场景进行了深度优化。本文为您介绍 API 网关的产品优势。
高性能 AI 插件
API 网关内置专为 AI 场景深度定制的高性能插件体系，帮助企业将复杂的网关控制逻辑与业务代码解耦，从容应对大规模 AI 业务流量，帮助加速大模型应用落地。
- 贴合 AI 场景的专属能力：区别于传统网关，API 网关提供原生契合大模型（LLM）调用特性的插件能力，如基于 LLM 的负载感知路由、亲和路由、MCP 会话保持等。开发者无需在业务代码中重复造轮子，即可快速构建高可用的大模型应用。
- 极致性能应对高并发流量：针对 AI 场景下常见的长连接、流式输出（Streaming）和高吞吐特性进行底层优化，确保在海量并发请求下，网关转发依然保持极低延迟，不成为大模型推理的性能瓶颈。
- 多语言无缝扩展，降低研发门槛：支持使用 C++、Lua、Golang 等主流语言进行自定义插件开发。研发团队可直接复用现有技术栈：利用 Golang 快速实现复杂的业务编排，或使用 C++ 处理对延迟极其敏感的核心逻辑，极大缩短 AI 应用的迭代周期。
AI 智能路由
针对大语言模型（LLM）和多模态模型推理服务的特点，API 网关内置了专为 AI 场景优化的智能路由引擎，能够基于服务的质量、时延和成本等多维度指标，动态地将流量引导至最合适的后端服务节点，从而实现资源利用率和用户体验的双重提升。
- 多维度动态路由策略：
- LLM 负载感知路由：感知后端模型的负载情况，包括 GPU KV-Cache 的使用率、排队请求数等，动态调整流量分配，将请求优先调度到负载最低的实例，实现资源的极致利用。
- LLM Session 亲和路由：在多轮对话场景，可以确保来自相同 Session id 的连续请求始终路由到同一后端实例，这对于需要维护上下文状态的对话式 AI 应用至关重要，避免了上下文在不同实例间传递导致丢失和失忆。
- 高可用的 Fallback 与代理机制：
- AI 模型 Fallback：当主模型服务不可用或响应超时，网关可自动将请求降级至备用模型，确保核心功能的连续性，提升用户体验。
- AI 多模型代理：允许将多个不同的模型服务统一在一个服务下，通过不同的路由规则对外提供服务，简化了客户端的访问逻辑。
安全功能
企业在对外开放 API 或在内部多团队共享网关实例时，需要在身份认证、访问控制等方面具备可控能力。API 网关通过多种认证鉴权、限流与黑白名单等策略，提供端到端的权限与安全治理体系。
- 灵活的身份认证协议：支持业界主流的认证协议，包括基于 HMAC 签名认证、JWT 认证、API Key 认证，同时支持OAuth2 单点登录插件，将 OAuth 协议与单点登录（SSO）结合，实现多应用统一身份验证，避免在各业务中重复实现复杂的认证逻辑。
- 全面的流量治理和防护：通过基于实例、服务、路由等多维度的限流管理，以及 IP 黑白名单、GEOIP 插件等能力，对不同租户、应用和区域实施差异化访问策略，在抵御恶意刷量和流量洪峰的同时，帮助企业精细管理 AI 推理成本。
拥抱 MCP
MCP（Model Context Protocol）是一种开源协议，用于标准化大语言模型与外部工具、API 和服务之间的交互方式。API 网关通过 MCP 服务和会话保持插件，帮助现有 HTTP 应用平滑迁移为 MCP Server，并在底层提供基于 SSE 的有状态传输与会话保持能力。
- 平滑迁移能力：针对传统 HTTP 应用，网关可将来自 MCP Client 的调用转换为 HTTP 请求，再将后端响应转换回 MCP 规范格式，降低改造存量服务的成本。
- 基于 SSE 有状态协议：支持通过 Streamable HTTP 协议建立 SSE 长连接，将 MCP 消息流式推送给客户端，并配合 MCP 会话保持插件将同一会话持续路由到同一后端实例。
- 会话保持：在直接访问 MCP Server 的模式下，系统默认绑定 MCP 会话保持插件，确保长连接状态在分布式后端中始终保持一致，避免消息丢失或连接失效。
最近更新时间：2026.05.20 18:24:14
这个页面对您有帮助吗？
有用
有用
无用
无用