AgentKit
AgentKit
文档指南
请输入
- 文档首页
AgentKitDeliveryAI用户指南空间管理员使用 DeliveryAI空间介绍评测中心管理评测任务
复制全文
下载 pdf管理评测任务
文档反馈
问问助手评测任务用于按选定的评估器和评测数据执行一次质量评估。本文介绍如何查看评测任务、新建评测任务，以及如何查看评测结果。
功能说明
创建评测任务时，您可以选择用生产 Trace 中的真实需求作为评测数据，也可以使用预先准备好的评测集。任务执行完成后，系统按评测节点汇总总分、通过率和低分用例，帮助您定位 Agent 交付中的薄弱环节。
前提条件
- 当前账号在目标 DeliveryAI 空间中的角色为空间管理员。
- 空间内已有可用的评估器；使用评测集执行任务时，已完成评测集创建。
查看评测任务
- 在 DeliveryAI 用户端左侧导航树中，选择“评测中心 > 评测任务”。
- 在“评测任务”页面，通过顶部筛选按钮“内置数据集”、“自定义数据集”、“需求”筛选评测任务范围，或是在搜索框中输入评测任务名称关键字，快速检索目标。
-
- 单击目标评测任务，可查看评测报告信息。报告包含以下内容：
- 总分：本次评测的综合评分。评分采用负分制，以 100 分为基准，发现问题时按严重程度扣分。
- 通过率：通过评估的用例占全部用例的比例。
- 节点得分：各评测节点的得分，用于定位质量较薄弱的交付环节。
- 低分用例：得分较低的用例明细，可据此查看 Agent 的实际输出与期望输出的差异。
新建评测任务
- 在 DeliveryAI 用户端左侧导航树中，选择“评测中心 > 评测任务”。
- 在“评测任务”页面，单击“新建评测任务”按钮。
-
- 参考下表，配置任务参数。
- 参数说明名称输入评测任务名称，建议体现本次评测的对象或目的。流程可选。选择需要评测的流程；不选择时，评测节点和默认评估器需手动指定。需求来源选择评测数据来源，“从生产 Trace 选择需求”或“使用评测集”。选择前者时勾选需要评测的需求；选择后者时下拉选择已有评测集。评测节点当“需求来源”选择“从生产 Trace 选择需求”时，需要勾选参与本次评测的流程节点，例如需求处理、Spec 设计、编码实现等。评估器选择各评测节点使用的评估器并单击右下角的“应用到本次任务”。选择流程后，系统默认带出流程内置的评估器组合。单击“恢复流程默认”将恢复初始配置。
- 单击“立即执行”按钮，任务开始执行。评测需要一定时间，可稍后在任务列表查看最新状态。
最近更新时间：2026.09.17 17:23:10
这个页面对您有帮助吗？
有用
有用
无用
无用