API 网关
API 网关
文档指南
请输入
- 文档首页
API 网关用户指南插件中心流量管控LLM Session 亲和路由插件
复制全文
下载 pdfLLM Session 亲和路由插件
文档反馈
问问助手LLM Session 亲和路由支持基于模型推理场景，提供将多轮会话中具有相同 Session id 的请求转发到相同的实例，不同 Session id 的请求尽可能打散的能力。本文介绍如何配置 LLM Session 亲和路由。
背景信息
Session 亲和路由的技术原理如下：
- 首次访问时，API 网关基于负载均衡算法，选择请求数最小的一个后端服务实例。
- 首次访问的返回报文中，会额外携带 API 网关生成的 Header ，例如x-upstream-session-id:xxxx。
- 后续访问中，请求报文需要携带x-upstream-session-id:xxxx信息。
- API 网关会根据访问请求报文中的x-upstream-session-id:xxxx信息转发到对应的后端服务，实现 Session 亲和路由。
前提条件
- 已创建网关实例，详情请参见 创建实例。
- 已将网关实例升级至 3.3.0 及以上版本，详情请参见 版本管理。
- 已创建服务，详情请参见 创建服务。
- 已创建路由，详情请参见 创建路由。
使用限制
- 同一插件在同一资源上只能绑定一次。
- 在同一路由中，LLM 负载感知路由插件、LLM Session 亲和路由插件 和 MCP 会话保持插件 互斥，不能同时开启。
操作步骤
- 登录 API 网关控制台。
- 在顶部导航栏，选择目标地域。
- 在左侧导航栏 实例管理 下拉框中选择目标实例后， 单击 插件中心 > 流量管控 > LLM Session 亲和路由插件。
- 单击 创建插件，配置插件参数。
-
-
- 单击 确定，完成配置。
结果验证
查看配置
配置完成后，在插件列表中，查看已配置的插件，若插件状态为 已启用，表示插件已生效。
访问验证
当您的客户端携带正确的x-upstream-session-id:xxxx信息访问时，能够访问到正确的后端服务，实现 Session 亲和路由。
最近更新时间：2026.08.17 14:17:39
这个页面对您有帮助吗？
有用
有用
无用
无用