日志服务
日志服务
日志服务
文档指南
请输入
用户指南
TLS Agent
资源管理
数据采集
LogCollector 采集
LogCollector 简介
安装与升级（Linux）
安装与升级（Windows）
采集容器日志
LogCollector 插件
管理 LogCollector
云产品日志采集
TOS 日志采集
CDN 日志采集
DBW 日志采集
VPN 日志采集
VKE 日志采集
CLB 日志采集
CloudTrail 日志采集
CFW 日志采集
NTA 日志采集
ALB 日志采集
APMPlus 日志采集
veFaaS 日志采集
VPC 日志采集
veImageX 日志采集
TrafficRoute DNS 日志采集
DDos 日志采集
WAF 日志采集
DCDN 日志采集
多云安全平台日志采集
APIG 日志采集
机器学习任务日志采集
采集火山方舟应用实验室日志
CR 日志采集
FileNAS 日志采集
大模型应用防火墙日志采集
vePFS 日志采集
云安全中心日志采集
EFS 日志采集
检索分析
使用第三方工具检索分析日志
关联外部数据源检索分析日志
SQL 函数
可视化
日志应用
云产品观测日志应用
大模型观测日志应用
Coding Agent 日志应用
ModelProvider 日志应用
No-coding Agent 日志应用
Framework 日志应用
基础服务监控日志应用
数据处理
数据加工
消费与投递
告警
Trace 存储
API 参考
日志管理
机器组管理
采集配置管理
数据处理器
定时 SQL 分析
告警管理
消费组管理
Trace 存储
SDK 参考
Go SDK
Java SDK
Android SDK
Node.js SDK
CLI 参考
最佳实践
消费与投递
可视化
常见问题
数据采集常见问题
索引配置常见问题
- 文档首页
日志服务用户指南AgentLoop数据评测实验
复制全文
下载 pdf实验
文档反馈
问问助手本章节介绍如何创建日志服务 AgentLoop 实验完成数据评测。
概述
实验是指通过组合评测集、评测对象、若干评估器三元组，执行评测动作得到实验结果的过程，会综合汇总评测过程中的所有数据和分析结果，助力开发者进行业务决策。
实验结果包括以下部分：
- 评测集数据：所有测试输入和预期输出数据。
- 评测对象输出结果的评分结果：详细揭露评测对象在各测试场景下的实际输出、成本、性能表现。
- 评估器打分（即评估指标）：提供不同评估器的评分结果，从多个角度分析评测对象的表现。
前提条件
- 已创建评测集，详情可参考评测集。
- 已创建评估器，详情可参考评估器。
创建实验
- 登录日志服务控制台。
- 在顶部导航栏中，选择日志服务所在的地域。
- 在左侧导航栏中，选择 AgentLoop > 评测 > 实验。
- 在实验页面的实验列表页签，单击新建实验。
- 在新建实验页面，根据界面提示完成如下配置。
- 选择评测集。
- 参数说明参数说明评测集选择评测集。版本选择评测集的版本。最大并发执行条数设置最大并发执行条数，取值范围为 1~20。实验支持并发执行评测集中的条目，但受限于评测对象的并发度和调用评估器的模型 TPM 限制。此处为理想的最大执行条数。
- （可选）选择评测对象。
- 当前暂不支持配置评测对象，可直接跳过。
- （可选）添加评估器。
- 如果跳过评估器配置，实验仅获取 Agent 实际输出，适用于人工标注的评测场景。
- 单击添加评估器，配置如下参数：
- 参数说明参数说明名称选择评估器。版本选择评估器的版本。Prompt 详情查看 Prompt 详情。字段映射评测集字段、评测对象实际输出到评估器字段的映射，用于评估器准确获取输入进行评估。最大并发执行条数设置最大并发执行条数，取值范围为 1~20。实验支持并发执行评测集中的条目，但受限于评测对象的并发度和调用评估器的模型 TPM 限制。此处为理想的最大执行条数。
- 确认实验配置。
- 输入实验名称，确认实验配置，确认无误后，单击发起实验。
查看评测数据
发起实验后，系统将自动执行评测任务，等待任务运行完成后，可手动刷新页面查看数据明细。
- 查看实验列表信息
- 在实验列表页签，查看实验列表信息。
-
- 查看数据明细
- 单击实验列表页签中的实验名称，在数据明细页签查看。
-
- 查看指标统计
- 单击实验列表页签中的实验名称，在指标统计页签查看。
-
最近更新时间：2026.06.24 16:11:31
这个页面对您有帮助吗？
有用
有用
无用
无用