AgentKit
AgentKit
文档指南
请输入
- 文档首页
AgentKitAgentKit用户指南技能技能评测与质量安全管理技能评测发起技能评测实验
复制全文
下载 pdf发起技能评测实验
文档反馈
问问助手技能评测实验是通过组合评测数据集、评测对象（目标技能版本）和执行模型，对技能执行动态评测并生成实验结果的完整过程。系统基于预先创建的评测集与选定的执行模型，对目标技能版本发起评测，并输出可视化的评测报告，为版本迭代优化、上线发布决策提供数据依据。
说明
该功能当前仅支持华北 2（北京）地域。
背景信息
技能创建完成后直接上线，可能面临“幻觉”、工具调用异常、任务执行失败等风险，仅依靠人工调试难以客观、全面地判断其是否达到上线要求。依托统一的评测集、执行模型，能够降低人工主观判断带来的差异，以一致的评估标准，衡量当前技能版本的任务执行效果与输出质量。
技能评测可理解为技能上线前的出厂质检：
适用场景
- 发布前效果验证
- 在技能正式发布前，可通过评测验证其任务完成效果、输出质量及调用稳定性，判断是否满足上线要求。
- 多版本效果对比
- 使用相同的评测集和执行模型对不同技能版本进行评测，可对比版本调整前后的表现，辅助判断优化是否有效。
- 配置问题排查
- 借助评测提前发现技能运行阶段的各类配置异常，例如模型调用失败、环境变量缺失、工具配置错误、依赖资源不可用等问题。在上线前完成问题定位与修复，减少缺陷配置流入生产环境，降低线上运行故障风险。
前提条件
操作步骤
说明
若需对同一个技能的多个版本进行效果对比，建议保持评测集、执行模型、环境变量完全一致，减少评测条件差异对评测结果带来的干扰，保障版本对比结论可信。
- 登录 AgentKit 控制台。
- 在左侧导航树，选择“技能”。
- 选择“技能”页签后，单击目标技能名称，进入详情页面。
-
- 选择“技能评测”页签后，单击“发起评测”按钮，参考下表，配置相关参数。
- 参数说明基本配置实验名称输入用于标识本次评测实验的名称。建议在名称中体现评测目标、业务场景或版本信息，便于后续查询和对比。评测集评测集是本次实验用于自动化测试技能的样本集合，定义了评测的输入样本与预期校验标准，用于衡量技能在指定场景下的任务能力与输出质量。注意评测集每项数据需包含文本类型的 input 字段，否则可能导致评测无法正常执行。执行模型单击执行模型下拉列表，选择评测过程中用于运行目标技能并完成推理的模型。该模型在评测执行阶段提供大模型推理能力，用于支撑技能的工具调用、内容生成等任务，并为后续效果评估提供基础。API Key单击 API Key 下拉列表，选择调用模型所用的火山方舟 API Key，该 API Key 作为访问指定模型的鉴权凭证，用于完成接口身份校验，保障评测实验能够正常调用方舟模型进行推理。A/B 对照评测A/B 对照评测默认关闭，您可单击
图标开启该功能。注意开启后，系统将使用相同的评测集、模型配置和运行环境，同时运行两组评测（实验组与对照组）任务并生成对比结果。该功能用于比较 Agent 加载与未加载目标技能时的效果差异，判断技能是否带来实际能力增益，并区分模型原生能力与技能增强能力的贡献。- 实验组：加载当前待测技能，Agent 可加载并调用该技能完成测试任务。
- 对照组（基线组）：根据 对照组技能配置决定加载内容，并在相同条件下执行测试任务。系统以该组结果为基准，衡量实验组的效果变化。
对照组技能配置用于指定 A/B 对照评测中对照组采用的技能注入方式，支持“不额外注入技能”、“注入当前技能的指定版本”和“注入其他技能的指定版本”，系统将基于该配置，对比实验组与对照组的评测结果。- 不额外注入技能（默认）
- 对照组不加载额外技能，仅基于模型原生能力执行任务。适用于判断目标技能是否带来实际能力增益。
- 注入当前技能的指定版本
- 对照组加载当前技能的指定版本。适用于比较同一技能不同版本的效果差异。
- 注入其他技能的指定版本
- 对照组加载其他技能的指定版本。适用于比较不同技能在相同测试条件下的能力表现。
说明仅开启 A/B 对照评测后，支持配置。A/B 对照技能/版本- 当对照组技能配置选择“注入当前技能的指定版本”时，单击“A/B 对照版本”下拉列表选择当前技能用于对照评测的具体版本。
- 当对照组技能配置选择“注入其他技能的指定版本”时，分别单击“A/B 对照技能”和“A/B 对照版本”下拉列表，选择用于对照评测的其他技能，以及该技能的具体版本。
说明仅对照组技能配置选择“注入当前技能的指定版本”和“注入其他技能的指定版本”时，支持配置。高级配置每条样本执行次数绑定技能空间当目标技能需依赖其他技能协同执行时，可绑定对应的技能空间，验证组合调用场景下的整体执行效果。绑定 MCP 服务当待评测技能依赖特定 MCP 工具完成任务时，单击 MCP 服务下拉列表，选择用于提供外部工具或系统能力的 MCP 服务。绑定后，评测沙箱可在技能执行期间访问对应 MCP 服务提供的外部工具能力，例如代码执行或数据库查询等。注意- 仅支持绑定已开通公网访问，且入站认证方式为 API Key 的 MCP 服务。
- 若技能不依赖外部 MCP 工具，则无需配置。有依赖却未绑定，有依赖却未绑定，会导致工具调用失败、评测结果不准。
启动脚本在运行技能的沙箱实例启动前执行的脚本，支持输入多行 Shell 命令。可用于预安装技能运行所需 CLI 工具、准备依赖文件、初始化运行环境，确保评测沙箱满足技能执行要求。以下场景需要配置：- 安装依赖工具：技能依赖 ffmpeg、pandoc 或自定义 CLI，且评测沙箱默认未内置相关工具。
- 准备文件和目录：技能运行前需下载依赖文件、创建指定目录或生成初始化数据。
- 初始化运行环境：需设置文件权限、写入配置文件或执行其他环境准备操作。
说明若技能无额外环境依赖，则无需配置。环境变量单击+添加环境变量按钮，根据控制台界面提示的变量输入要求，输入变量名和变量值，配置技能运行时依赖的参数，例如访问凭证、服务地址或功能开关。将敏感信息通过环境变量外置管理，可减少在技能文件中硬编码导致的信息泄露风险。注意变量名称需与技能代码中读取的名称保持一致。
- 单击“创建并运行”按钮，发起评测实验。
- 观察评测进度，了解评测任务执行进展：
- 发起评测后，系统将在评测进度页面依次执行以下三个阶段，无需手动操作。页面会实时展示各阶段的状态、任务完成数量及进度百分比，便于了解实验执行进展。
-
说明
若启用了 A/B 对照评测，技能评测页面将同时展示实验组评测进度和对照组评测进度。两组评测独立执行，并依次经历“评测轨迹动态生成中 → 轨迹评测中 → 报告生成”三个阶段。
- 评测轨迹动态生成中
- 系统根据所选评测集在沙箱中调用智能体运行目标技能，生成可供后续评测使用的执行轨迹。该阶段会展示已完成数据条数、总数据条数及进度百分比，是开展轨迹评测的基础。
- 轨迹评测中
- 系统基于已生成的评测轨迹执行实际评测，判断技能的执行过程和输出结果是否符合预期。该阶段会展示已完成数据条数、总数据条数及进度百分比。
- 报告生成
- 系统汇总轨迹生成结果和评测结果，生成本次实验的评测报告。报告可用于分析异常样本、评估任务完成效果，并对比不同技能版本之间的差异，详情请参见 查看评测结果并修复技能问题。
最近更新时间：2026.10.12 16:17:40
这个页面对您有帮助吗？
有用
有用
无用
无用