API 网关
API 网关
文档指南
请输入
- 文档首页
API 网关用户指南插件中心流量管控LLM 会话保持 ID 生成插件
复制全文
下载 pdfLLM 会话保持 ID 生成插件
文档反馈
问问助手LLM 会话保持 ID 生成插件根据请求中 Prompt 生成会话保持 ID，结合一致性 Hash 策略实现会话保持。本文介绍如何创建 LLM 会话保持 ID 生成插件。
背景信息
LLM 会话保持 ID 生成插件是为了在大模型会话中实现会话保持，将具有相同 Prompt Message 段的请求分发到同一个推理引擎实例，复用会话缓存信息，减小会话生成的时长，提升用户体验。
前提条件
- 已创建网关实例，详情请参见 创建实例。
- 已创建服务，详情请参见 创建服务。
- 已创建路由，详情请参见 创建路由。
- 已创建 Upstream，并使用一致性哈希负载均衡算法，基于 Header 进行负载均衡，Header 为 X-Digest-Session-ID。操作详情参见 Upstream 管理。
使用限制
- 同一路由中，LLM 会话保持 ID 生成插件 与 LLM 负载感知路由插件、LLM Session 亲和路由插件和 MCP 会话保持插件互斥。
- 同一插件在同一资源上只能绑定一次。
操作步骤
- 登录 API 网关控制台。
- 在顶部导航栏，选择目标地域。
- 在左侧导航栏 实例管理 下拉框中选择目标实例后， 单击 插件中心 > 流量管控 > LLM 会话保持 ID 生成插件。
- 单击 创建插件，配置插件规则。
- 配置项说明所属服务选择插件所属服务。所属路由选择插件所属路由。生成方式当前仅支持 根据 Prompt 内容生成。生成来源选择会话中某一段或多段内容生成 Session ID。单击 查看示例，查看 Message 中内容的命名方式。
- 单击 确定，完成配置。
最近更新时间：2026.08.17 14:18:04
这个页面对您有帮助吗？
有用
有用
无用
无用