AgentKit
AgentKit
文档指南
请输入
- 文档首页
AgentKitAgentKit用户指南技能技能评测与质量安全管理技能评测发起技能评测实验
复制全文
下载 pdf发起技能评测实验
文档反馈
问问助手技能评测实验是通过组合评测数据集、评测对象（目标技能版本）和执行模型，对技能执行动态评测并生成实验结果的完整过程。系统基于预先创建的评测集与选定的执行模型，对目标技能版本发起评测，并输出可视化的评测报告，为版本迭代优化、上线发布决策提供数据依据。
说明
该功能当前仅支持华北 2（北京）地域。
背景信息
技能创建完成后直接上线，可能面临“幻觉”、工具调用异常、任务执行失败等风险，仅依靠人工调试难以客观、全面地判断其是否达到上线要求。依托统一的评测集、执行模型，能够降低人工主观判断带来的差异，以一致的评估标准，衡量当前技能版本的任务执行效果与输出质量。
技能评测可理解为技能上线前的出厂质检：
适用场景
- 发布前效果验证
- 在技能正式发布前，可通过评测验证其任务完成效果、输出质量及调用稳定性，判断是否满足上线要求。
- 多版本效果对比
- 使用相同的评测集和执行模型对不同技能版本进行评测，可对比版本调整前后的表现，辅助判断优化是否有效。
- 配置问题排查
- 借助评测提前发现技能运行阶段的各类配置异常，例如模型调用失败、环境变量缺失、工具配置错误、依赖资源不可用等问题。在上线前完成问题定位与修复，减少缺陷配置流入生产环境，降低线上运行故障风险。
前提条件
操作步骤
说明
若需对同一个技能的多个版本进行效果对比，建议保持评测集、执行模型、环境变量完全一致，减少评测条件差异对评测结果带来的干扰，保障版本对比结论可信。
- 登录 AgentKit 控制台。
- 在左侧导航树，选择“技能”。
- 选择“技能”页签后，单击目标技能名称，进入详情页面。
-
- 选择“技能评测”页签后，单击“发起评测”按钮，参考下表，配置相关参数。
- 参数说明基本配置实验名称输入用于标识本次评测实验的名称。建议在名称中体现评测目标、业务场景或版本信息，便于后续查询和对比。评测集评测集是本次实验用于自动化测试技能的样本集合，定义了评测的输入样本与预期校验标准，用于衡量技能在指定场景下的任务能力与输出质量。注意评测集每项数据需包含文本类型的 input 字段，否则可能导致评测无法正常执行。多轮对话评测用于评估模型在连续对话中的上下文理解、信息记忆和逻辑衔接能力。
- 开启多轮对话评测
- 开启后，执行每条评测样本时，系统会将前置会话历史与当前输入一并发送给模型，适用于多轮问答、角色扮演、分步任务及带前置约束的对话评测。
- 关闭多轮对话评测（默认）
- 关闭后，系统仅发送当前轮输入，不携带会话历史，每条样本均作为独立的单轮请求，适用于单轮问答或单指令能力评测。
字段映射用于指定数据集字段与评测内容的对应关系，包括：说明示例中的question、expected和conversation仅为示例字段名，实际配置以所选评测集中的字段为准。- 输入：映射当前轮用户输入，即用户本轮最新提出的问题、指令或需求。
- 例如：将输入映射至数据集中的question字段，执行评测时，系统会读取该字段，并将内容作为当前轮输入发送给模型。
- 参考输出：映射当前样本的标准答案、预期结果或参考回复，当前轮预期的标准答案或参考回复。
- 例如：将参考输出映射至数据集中的expected字段，评测器可使用该字段比较模型实际输出与预期结果，判断回复是否符合要求。
- 会话历史：映射当前轮输入之前的历史对话。
“会话历史”配置项仅在开启多轮对话评测后展示，且必须配置。- 例如：将会话历史映射至数据集中的conversation，该字段应按对话发生顺序保存用户与助手的历史消息，并采用符合评测要求的对话数组格式。开启多轮对话评测后，系统会将会话历史与当前轮输入一并发送给模型。
说明示例中的question、expected和conversation仅为示例字段名，实际配置以所选评测集中的字段为准。A/B 对照评测A/B 对照评测默认关闭，您可单击
图标开启该功能。注意开启后，系统将使用相同的评测集、模型配置和运行环境，同时运行两组评测（实验组与对照组）任务并生成对比结果。该功能用于比较 Agent 加载与未加载目标技能时的效果差异，判断技能是否带来实际能力增益，并区分模型原生能力与技能增强能力的贡献。- 实验组：加载当前待测技能，Agent 可加载并调用该技能完成测试任务。
- 对照组（基线组）：根据 对照组技能配置决定加载内容，并在相同条件下执行测试任务。系统以该组结果为基准，衡量实验组的效果变化。
对照组技能配置用于指定 A/B 对照评测中对照组采用的技能注入方式，支持“不额外注入技能”、“注入当前技能的指定版本”和“注入其他技能的指定版本”，系统将基于该配置，对比实验组与对照组的评测结果。- 不额外注入技能（默认）
- 对照组不加载额外技能，仅基于模型原生能力执行任务。适用于判断目标技能是否带来实际能力增益。
- 注入当前技能的指定版本
- 对照组加载当前技能的指定版本。适用于比较同一技能不同版本的效果差异。
- 注入其他技能的指定版本
- 对照组加载其他技能的指定版本。适用于比较不同技能在相同测试条件下的能力表现。
说明仅开启 A/B 对照评测后，支持配置。A/B 对照技能/版本- 当对照组技能配置选择“注入当前技能的指定版本”时，单击“A/B 对照版本”下拉列表选择当前技能用于对照评测的具体版本。
- 当对照组技能配置选择“注入其他技能的指定版本”时，分别单击“A/B 对照技能”和“A/B 对照版本”下拉列表，选择用于对照评测的其他技能，以及该技能的具体版本。
说明仅对照组技能配置选择“注入当前技能的指定版本”和“注入其他技能的指定版本”时，支持配置。模型配置执行模型名称选择用于运行目标技能并完成推理的模型。该模型将在执行阶段处理评测集输入并实时生成运行轨迹，其输出结果及运行轨迹将作为后续评分与分析的基础。执行模型 API Key选择调用模型所用的火山方舟 API Key，该 API Key 作为访问指定模型的鉴权凭证，用于完成接口身份校验，保障评测实验能够正常调用方舟模型进行推理。说明请确保所选 API Key 处于有效状态，并具备对应模型的访问权限；若凭证无效、权限不足或与模型所属账号不匹配，可能导致模型调用失败，影响评测任务执行。可前往 获取 API Key 并配置 查看或管理 API Key。评分模型名称选择评测评分阶段用于分析执行结果并完成自动评分的模型。评分模型与执行模型可以相同，也可以根据不同阶段的能力要求选择不同模型。评分模型与执行模型可以相同，也可以根据不同阶段的能力要求选择不同模型。说明- 模型将按 Token 用量计费，费用详情请参见 模型服务计费说明。
- 建议根据评测任务的复杂度和评分要求选择理解、推理能力相匹配的模型，以提高评分结果的准确性和稳定性；同一评测集进行多次对比时，建议保持评分模型一致，避免模型差异影响结果的可比性。
评分模型 API Key选择调用评分模型所需的方舟 API Key。该 API Key 作为访问所选评分模型的身份鉴权凭证，用于完成接口调用认证并确保系统可正常执行自动评分。说明请确认所选 API Key 有效，且拥有目标模型的访问权限。若凭证失效、权限不足，或密钥与模型所属账号不匹配，将造成模型调用失败，影响评测任务运行。可前往 获取 API Key 并配置 查看或管理 API Key。高级配置产物评测用于控制是否对执行阶段生成的产物进行评估。系统可通过分析产物中存在的问题，为后续优化提供评分结果、问题分析和评测结论。- 开启产物评测（默认）
- 开启后，系统会将执行阶段生成的文件保存至云端（存储对象），并结合文件内容、运行轨迹和文本输出进行评分。
说明本次实验结束后，系统会自动清理相关文件，仅保留评分结果、问题分析和评测结论。- 关闭产物评测
- 关闭后，系统不会保存实验运行产生的文件。评测打分只参考运行记录和文字输出，不会查看、分析生成的文件。
每条样本执行次数绑定技能空间当目标技能需依赖其他技能协同执行时，可绑定对应的技能空间，验证组合调用场景下的整体执行效果。绑定 MCP 服务当待评测技能依赖特定 MCP 工具完成任务时，单击 MCP 服务下拉列表，选择用于提供外部工具或系统能力的 MCP 服务。绑定后，评测沙箱可在技能执行期间访问对应 MCP 服务提供的外部工具能力，例如代码执行或数据库查询等。注意- 仅支持绑定已开通公网访问，且入站认证方式为 API Key 的 MCP 服务。
- 若技能不依赖外部 MCP 工具，则无需配置。有依赖却未绑定，有依赖却未绑定，会导致工具调用失败、评测结果不准。
启动脚本在运行技能的沙箱实例启动前执行的脚本，支持输入多行 Shell 命令。可用于预安装技能运行所需 CLI 工具、准备依赖文件、初始化运行环境，确保评测沙箱满足技能执行要求。以下场景需要配置：- 安装依赖工具：技能依赖 ffmpeg、pandoc 或自定义 CLI，且评测沙箱默认未内置相关工具。
- 准备文件和目录：技能运行前需下载依赖文件、创建指定目录或生成初始化数据。
- 初始化运行环境：需设置文件权限、写入配置文件或执行其他环境准备操作。
说明若技能无额外环境依赖，则无需配置。环境变量单击+添加环境变量按钮，根据控制台界面提示的变量输入要求，输入变量名和变量值，配置技能运行时依赖的参数，例如访问凭证、服务地址或功能开关。将敏感信息通过环境变量外置管理，可减少在技能文件中硬编码导致的信息泄露风险。注意变量名称需与技能代码中读取的名称保持一致。
- 单击“创建并运行”按钮，发起评测实验。
- 观察评测进度，了解评测任务执行进展：
- 发起评测后，系统将在评测进度页面依次执行以下三个阶段，无需手动操作。页面会实时展示各阶段的状态、任务完成数量及进度百分比，便于了解实验执行进展。
-
说明
若启用了 A/B 对照评测，技能评测页面将同时展示实验组评测进度和对照组评测进度。两组评测独立执行，并依次经历“评测轨迹动态生成中 → 轨迹评测中 → 报告生成”三个阶段。
- 评测轨迹动态生成中
- 系统根据所选评测集在沙箱中调用智能体运行目标技能，生成可供后续评测使用的执行轨迹。该阶段会展示已完成数据条数、总数据条数及进度百分比，是开展轨迹评测的基础。
- 轨迹评测中
- 系统基于已生成的评测轨迹执行实际评测，判断技能的执行过程和输出结果是否符合预期。该阶段会展示已完成数据条数、总数据条数及进度百分比。
- 报告生成
- 系统汇总轨迹生成结果和评测结果，生成本次实验的评测报告。报告可用于分析异常样本、评估任务完成效果，并对比不同技能版本之间的差异，详情请参见 查看评测结果并修复技能问题。
最近更新时间：2026.10.21 16:10:56
这个页面对您有帮助吗？
有用
有用
无用
无用