文档中心

日志服务

请输入

数据评测

评测集

本章节介绍如何创建日志服务 AgentLoop 数据评测集。

概述

评测集是用于评测评估对象的一组数据。它通常包含输入数据和预期的输出结果，帮助开发者验证评估对象的效果。

输入数据：提供给评测对象的标准化测试输入，用于评估其在不同场景下的表现。

预期输出（可选）：理想的输出结果，作为评估基准，作为某些评估器的参考输入。

创建评测集

登录日志服务控制台。

在顶部导航栏中，选择日志服务所在的地域。

在左侧导航栏中，选择 AgentLoop > 评测 > 评测集。

在评测集页面，单击新建评测集。

在新建评测集页面，根据界面提示完成如下配置。

填写基本配置。

配置
说明
名称
评测集的名称。
描述
评测集的的简单描述。

设置配置列。

可单击添加列，添加更多配置列，最多支持配置 50 列。

配置	说明
input	输入数据，提供给评测对象的标准化测试样本，用于评测 AI Agent 在不同场景下的表现。指定输入样本列配置：名称：输入列名称。必须以英文字母开头，支持添加字母、数字和下划线。数据类型：选择一种数据类型。通过校验数据类型，避免导入数据不匹配的情况，保证评测的数据质量；同时可以提高数据的消费和存储效率。查看格式：选择一种渲染评测数据的格式，提高数据的可读性和维护性。描述信息：提供描述信息，帮助评测对象理解这个输入数据。
reference_output	预期输出（reference_output）：这些是理想的结果，作为评估基准，帮助评估者或评估器对输出做出判断。指定数据集中期望输出列配置：名称：输入列名称。必须以英文字母开头，支持添加字母、数字和下划线。数据类型：选择一种数据类型。扣子罗盘通过校验数据类型，避免导入数据不匹配的情况，保证评测的数据质量；同时可以提高数据的消费和存储成本。查看格式：选择一种渲染评测数据的格式，提高数据的可读性和维护性。描述：提供预期输出的补充信息，可作为评估时的参考标准。

单击创建，系统会根据指定的数据列配置创建一个草稿版本的评测集。

配置评测集

你可以在评测集草稿状态下，修改评测集数据。

说明

草稿版本的评测集数据修改不影响已提交的历史版本。如果历史版本的评测集关联了实验，也可以根据历史版本的实验回溯原版本数据。

新增数据项：在评测集详情页面，单击添加数据，可根据界面提示手动添加或本地导入（总共最多支持添加 5000 条）。

手动添加：单次最多添加 10 条。

本地导入：支持本地导入 CSV（UTF-8 编码）/Excel 文件，单文件最大支持 200 MB。

修改数据项：在评测集详情页面，单击目标数据项操作列下的编辑，然后修改数据并保存。

删除数据项：

单条删除：在评测集详情页面，单击目标数据项操作列下的删除，即可删除该条数据。

批量删除：评测集详情页面，先单击批量操作，然后选择要删除的数据项，再单击删除即可删除所选数据项。

管理评测集版本

评测集提供了版本管理能力，用于满足数据驱动型团队持续迭代评测数据以提高数据质量。

评测集创建后默认为草稿状态。在不同评测阶段，测试集的版本作用也不同：

数据完备阶段：完成测试数据导入后，可提交首个测试版本并关联实验任务，系统将基于该版本进行全量评估。

评估验证阶段：通过实验报告分析当前版本的数据表现，定位待优化数据样本。

优化升级阶段：根据评估结果修正数据集后，提交升级版本并重新关联实验，开启新一轮验证循环。

这种版本机制通过"提交-评估-优化"的递进式循环，确保评测集持续满足评估迭需求。

关联实验

新建实验

你可以在评测数据构建完成并提交版本后，直接从评测集发起实验进行评测。

在评测集详情页，单击新建实验，确认用于实验的评测集版本信息，单击确定，然后根据提示配置实验参数，详情可参考实验。

关联实验

关联实验模块提供了一个聚合视图，展示与同一评测集关联的所有评测实验。你可以在此页面查看当前实验列表中各个实验在不同评估器指标下的得分。

如果需要更深入的对比分析，你可以选择多个实验并发起实验对比，以获得详细的比较结果和洞察。该方式可以帮助你更好地理解实验之间的差异和性能表现，从而支持更精准的优化和决策。

最近更新时间：2026.09.21 17:50:16

这个页面对您有帮助吗？

有用

无用

配置	说明
名称	评测集的名称。
描述	评测集的的简单描述。