在多工具（Function Calling / Tool Use）场景下，客户端往往会在单次请求中携带大量工具定义。工具数量越多，模型处理的上下文越长，响应延迟和 Token 消耗也随之上升。AI 加速网关的工具精选能力可在请求转发到 LLM 之前，智能筛选出与当前任务最相关的工具，仅将这部分工具透传给模型，从而提升模型响应速度与准确率，同时降低调用成本。本教程介绍如何在网关实例中开启并配置工具精选。

适用场景 #

当您遇到以下场景时，建议开启工具精选：

• 应用向模型注册了大量工具（如数十甚至上百个 Function），单次请求携带的工具列表较长，导致响应延迟和 Token 开销偏高。
• 希望在不改造客户端代码的前提下，由网关侧统一完成工具裁剪，减少无关工具对模型选择的干扰，提升工具调用的准确率。
• 需要按请求规模灵活控制保留的工具数量或比例，在效果与开销之间取得平衡。

前提条件 #

• 已完成 快速上手 MaaS API 加速，即已创建 AI 加速网关实例、配置模型路由并获取到 BaseUrl 和 API Key。本教程在该实例基础上进行工具精选配置，不再重复实例的创建步骤。
• 您的业务请求以 OpenAI 兼容协议方式调用，且在请求体的 tools 字段中携带工具定义。

操作步骤 #

步骤一：进入实例编辑页面 #

1. 登录 全站加速控制台。
2. 在左侧导航栏，选择 AI 加速网关 > 实例管理。
3. 找到已创建的目标实例，在 操作 列单击 编辑。您也可以在 实例详情 页面单击右上角的 编辑。

步骤二：开启并配置工具精选 #

在实例编辑页面的 工具精选 区域完成以下配置。

1. 打开 工具精选开关。
   
2. 设置 触发条件（工具数量）：填写触发精选的工具数量下限。当单次请求携带的工具数达到该阈值时才执行精选。默认值为 10 个。
3. 选择 筛选模式，并填写对应的保留参数：
   • 按数量筛选（Top N）：填写 保留工具数量，网关保留相关性最高的固定数量工具。默认值为 5 个。该值不能超过 触发条件 中设置的工具数量。
   • 按比例筛选：填写 保留工具比例，网关按请求携带工具总数的百分比保留相关性最高的工具。默认值为 10%。
4. 单击 确认 保存配置。

相关文档 #