文档中心

AgentKit

请输入

模型接入

创建并授权模型组

模型组用于将多个已接入的上游模型组合为一个稳定的调用入口。应用只需在请求的 model 字段中填写模型组的调用名称，模型网关便会按配置的权重选择组内上游模型，当组内重试未成功时，可调用备用模型。模型组适合需要多供应商分流、平滑切换或统一业务模型名称的场景。本文介绍如何创建和管理模型组。

使用限制

创建模型组

配置项	说明
模型组名称	请输入模型组的名称。此名称作为模型组的唯一调用标识，应用调用模型组时，在请求的 model 字段填写该名称，无需指定供应商，建议使用能体现业务用途的名称，例如 coding-fast。
组内模型	选择模型组中配置的模型。仅可从已接入供应商的模型中选择一个或多个上游模型，若无目标模型，请先在已有供应商中添加新模型，或者配置新的模型供应商和模型。添加模型的操作，详见管理供应商和模型。单次只能添加一个模型供应商下的一个模型作为上游模型，每个模型组中最多可配置 5 个上游模型。每个上游模型由供应商、模型 ID 和权重组成。供应商：选择已配置的模型供应商。模型 ID：选择模型供应商下，已配置的模型。权重：网关按各模型权重比例选择上游模型，权重值越大优先级越高，权重为 0 时停止向该上游分配请求。
失败处理	组内重试次数由模型服务的统一设置。上游模型调用失败后，网关先在组内按该设置继续尝试。组内模型共用该次数，即以模型组为单位，在模型组中失败重试的次数，并非单个模型调用失败的次数。
备用模型	可选。组内重试结束后仍未成功时，网关最多调用一次备用模型。