LLM Session 亲和路由支持基于模型推理场景，提供将多轮会话中具有相同 Session id 的请求转发到相同的实例，不同 Session id 的请求尽可能打散的能力。本文介绍如何配置 LLM Session 亲和路由。 ## 背景信息 API 网关支持基于 Stateful session 的会话保持，允许带有特定 header 或 cookie 的请求转发到指定实例，实现 Session 亲和路由。详情请参见 [官方文档](https://www.envoyproxy.io/docs/envoy/latest/configuration/http/http_filters/stateful_session_filter)。 Session 亲和路由的技术原理如下： * 首次访问时，API 网关基于负载均衡算法，选择请求数最小的一个后端服务实例。 * 首次访问的返回报文中，会额外携带 API 网关生成的 Header ，例如`x-upstream-session-id:xxxx`。 * 后续访问中，请求报文需要携带`x-upstream-session-id:xxxx`信息。 * API 网关会根据访问请求报文中的`x-upstream-session-id:xxxx`信息转发到对应的后端服务，实现 Session 亲和路由。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_d9c260260bae27579be47a57448d9579.png) ## 前提条件 * 已创建网关实例，详情请参见 [创建实例](https://www.volcengine.com/docs/6569/85693)。 * 已将网关实例升级至 3.3.0 及以上版本，详情请参见 [版本管理](https://www.volcengine.com/docs/6569/1657695)。 * 已创建服务，详情请参见 [创建服务](https://www.volcengine.com/docs/6569/85695#.5Yib5bu65pyN5Yqh)。 * 已创建路由，详情请参见 [创建路由](https://www.volcengine.com/docs/6569/179038)。 ## 使用限制 * 同一插件在同一资源上只能绑定一次。 * 在同一路由中，[LLM 负载感知路由插件](https://www.volcengine.com/docs/6569/1584313?lang=zh)、**LLM ** **Session 亲和路由插件** 和 [MCP 会话保持插件](https://www.volcengine.com/docs/6569/1584319?lang=zh) 互斥，不能同时开启。 ## 操作步骤 1. 登录 [API 网关控制台](https://console.volcengine.com/veapig)。 2. 在顶部导航栏，选择目标地域。 3. 在左侧导航栏 **实例管理** 下拉框中选择目标实例后，单击 **插件中心 \> 流量管控 \> ** **LLM Session 亲和路由插件。** 4. 单击 **创建插件**，配置插件参数。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_d8fc9f2de04e646ec1b04f6e842065f5.png) |配置项 |说明 | |---|---| |生效级别 |选择 LLM Session 亲和路由插件的生效级别，当前仅支持 **路由级别**。 | |所属实例 |在下拉菜单中选择插件所属 APIG 网关实例。 | |所属服务 |在下拉菜单中选择插件所属服务。 | |所属路由 |在下拉菜单中选择插件所属路由。 | |备注 |您可以根据业务需要选择是否编辑备注内容，例如插件用途等，便于后期识别。 | 3. 单击 **确定**，完成配置。 ## 结果验证 ### 查看配置配置完成后，在插件列表中，查看已配置的插件，若插件状态为 **已启用**，表示插件已生效。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_7babd3d62fdf2aaa18cac039ce3a8ee0.png) ### 访问验证当您的客户端携带正确的`x-upstream-session-id:xxxx`信息访问时，能够访问到正确的后端服务，实现 Session 亲和路由。