AgentKit
AgentKit
AgentKit
文档指南
请输入
AgentKit
产品动态
产品计费
快速入门
用户指南
智能体运行时
沙箱模板
沙箱模板管理
在 Agent 中集成沙箱模板
Skills Sandbox 沙箱模板
技能
A2A 中心
会话与记忆管理
知识库
网关
MCP 接入
身份与权限
快速入门
观测
开发者指南
API 参考
Runtime
Tool
Skill
A2A
SessionStore
Memory
Knowledge
MCP
ChatKit 参考
DeliveryAI
产品动态
产品计费
开始使用
步骤一：企业管理员-开通并配置服务
- 文档首页
AgentKitDeliveryAI用户指南空间管理员使用 DeliveryAI空间介绍评测中心评测中心概述
复制全文
下载 pdf评测中心概述
文档反馈
问问助手评测中心用于对需求交付过程中各节点的 Agent 产出进行量化评估，帮助您了解 Agent 在需求处理、Spec 设计、编码实现、联调测试等环节的交付质量，并基于评估结果优化 Agent 模板、系统提示词和流程配置。
功能说明
评测中心提供“评估器”、“评测集”和“评测任务”三个模块，覆盖从评估标准定义、评测数据准备到任务执行与结果查看的完整流程：
- 管理评估器：评估器定义评分标准。系统内置一组覆盖需求交付各阶段的评估器，您也可以新建自定义评估器，或克隆内置评估器后调整为自己的评分规则。
- 管理评测集：评测集是用于评测的一组用例（Case）。您可以上传本地评测集文件，也可以从需求的历史执行记录（Trace）中汇集用例，形成评测集。
- 执行评测任务：选择评估器和评测数据后创建评测任务，任务执行完成后可查看总分、通过率、各节点得分和低分用例，定位需要优化的环节。
核心概念
概念 | 说明 |
概念 | 说明 |
评估器 | 定义“按什么标准评分”。每个评估器绑定一个评估模型和一套评分规则，针对一个评测维度给出评分。 |
评测集 | 定义“用什么数据评分”。由若干用例（Case）组成，每个用例包含输入和期望输出，可来自本地文件或历史执行记录。 |
评测任务 | 一次具体的评测执行。选择流程、评测节点、需求来源和评估器后，系统按任务配置对评测数据逐条评分并汇总结果。 |
评测节点 | 需求流程中被评估的节点，例如需求处理、Spec 设计、编码实现等。评测任务按所选节点分别评分。 |
Trace | 需求在 DeliveryAI 中执行的完整过程记录。创建评测集或评测任务时，可从生产 Trace 中选择需求和用例。 |
使用流程
- 准备评估器：直接使用内置评估器，或新建、克隆出符合团队标准的自定义评估器。
- 准备评测集：上传本地评测集文件，或从生产 Trace 中汇集低分用例。
- 创建评测任务：选择流程、评测节点、需求来源和评估器，执行评测。
- 查看评测结果：结合总分、通过率、节点得分和低分用例，定位薄弱环节并优化 Agent 配置。
评测结果说明
- 评测结果包含总分、通过率、节点得分和低分用例。评分采用负分制，以 100 分为基准，评测中发现问题时按严重程度扣分。
- 评测结果用于评估和优化 Agent 的交付质量，仅供参考，不影响需求的正常流转，也不会阻断需求交付。
最近更新时间：2026.09.17 17:23:10
这个页面对您有帮助吗？
有用
有用
无用
无用