文档中心

数据智能体 DataAgent（私有化）

营销互动助手

评测

评测功能用于评估不同智能体在特定任务或综合能力上的表现。您需要依次构建评测集、评测方法，并接入待评测的 Agent，然后创建评测任务按照评测集参数、评测方法，对指定 Agent 进行评测并打分。

功能介绍

功能	介绍
评测集	智能体评测打分的数据依据。需要定义评测参数（例如输入参数、预期理想输出参数等）并添加参数数据，构建完整的评测集。
评测方法	智能体评测打分规则。基于大模型能力构建智能体评测方法，可选择的方法包括简洁性、争议性、正确性、深度性或恶意性等。
Agent 接入	接入待评测的智能体。
评测任务	依次指定评测集、评测对象、评测方法，基于大模型能力为 Agent 评测，并输出评测结果（包含得分及得分理由）。

评测集

新建评测集

登录营销 Agent 控制台，在左侧导航栏选择营销互动助手。
在营销互动助手左侧导航栏选择评测 > 评测集。
在评测集页面右上角，单击新建评测集。
配置评测集基本信息和参数，并单击创建。
- 基本信息
  - 名称：必填，自定义名称，标识当前评测集。
  - 描述：选填，评测集的详细描述信息。
- 配置列
  设置评测集包含的列参数，默认添加input、reference_output参数，支持修改或新增其他列参数。
创建完成后会跳转至评测集详情页，在该页面可查看列参数。
列参数包含系统预置参数和您在创建评测集时添加的参数，支持单击编辑列，修改参数配置。
单击添加数据，为列参数添加参数值，作为评测智能体时的数据参考。
添加方式包括手动添加、本地导入。
- 手动添加：在添加数据界面，为列参数设置参数值，可同时添加多条数据项，上限为 10 条。
- 本地导入：
  - 上传数据：支持以 csv、zip、xlsx、xls 文件形式导入参数值，文件最大支持 200 MB，一次仅可导入一个文件。
  - 导入方式：追加数据或全量覆盖。
添加数据后，需要在评测集详情页右上角提交新版本，提交后评测集才可以被评测任务关联使用。

管理评测集

在评测集列表中，可查看评测集的名称、列名称、数据项以及版本等信息。在操作列，支持查看或删除评测集。

注意

评测集一旦删除无法恢复，请谨慎操作。

查看评测集详情

在指定评测集的详情页，支持：

新建评测任务、继续添加数据、查看评测集版本等操作。
查看该评测集关联的评测任务执行结果，包括评分总览、评测任务详情。在该页面，可直接对评测任务执行查看详情、复制、导出、删除等操作。

评测方法

新建评测方法

登录营销 Agent 控制台，在左侧导航栏选择营销互动助手。
在营销互动助手左侧导航栏选择评测 > 评测方法。
在评测方法页面右上角，单击新建评测方法。
目前支持LLM评测方法。
在选择模板弹窗，选择预置评测方法，并单击确认。
系统预置了丰富的评测方法，您可以选择指定的方法，并查看其中的提示词（Prompt）是否符合评测要求。
在新建评测方法页面，完成以下配置。
- 基础信息：自定义名称、描述。
- 配置信息：
  - 选择模型，支持配置模型参数，包括最大回复长度、生成随机性、Top P。
  - 查看预设提示词是否满足您的要求，支持重新选择评测方法，也支持自定义提示词。
完成配置后，在页面右下角单击调试，自行构造 input、output 参数调试当前评测方法是否符合预期。
调试无问题后，返回新建评测方法页面，并在页面右下角单击创建。

管理评测方法

在评测方法列表，可查看评测方法的名称、类型、最新版本以及更新时间等信息。在操作列，支持以下操作：

详情：进入评测方法详情页，支持修改模型、提示词，并进行调试，修改完成后，需要提交新版本。
复制：复制当前评测方法并新建。
删除：不再使用的评测方法支持删除。
注意
评测方法一旦删除无法恢复，请谨慎操作。

接入 Agent

营销互动助手内自建的智能体默认展示在 Agent 列表，支持编辑或删除操作。

登录营销 Agent 控制台，在左侧导航栏选择营销互动助手。
在营销互动助手左侧导航栏选择评测 > Agent接入。
在 Agent 接入 列表中，查看 Agent 详情。
在详情页可查看 Agent 基本信息和版本记录，在页面右上角支持调试或编辑 Agent。

编辑时，参数说明如下：
- Agent名称：自定义名称，标识当前 Agent，不能超过 50 个字。
- Agent描述：自定义描述，例如 Agent 介绍、注意事项等信息，不能超过 200 个字。
- 目标接口地址：Agent 接口地址，字符上限为 200。
- 版本号：当前智能体的版本号，不可编辑。
- Input Field JSON：Agent 输入字段，用于接收评测集输入数据。
- Output Field JSON：Agent 输出字段，用于评测系统提取 Agent 响应数据。
- body参数：Agent 接口请求体数据结构，配置后在代码框下方单击验证 JSON，检查参数配置是否有误。
- header：Agent 接口的请求头信息。例如 x-api-key 是 Agent 接口的秘钥。
（可选）在 Agent 接入列表删除不再需要的 Agent。
注意
Agent 一旦删除无法恢复，请谨慎操作。

评测任务

完成评测集、评测方法、Agent的接入与构建后，可系统性的构建评测任务，评测 Agent 在特定任务或综合能力上的表现。

新建评测任务

登录营销 Agent 控制台，在左侧导航栏选择营销互动助手。
在营销互动助手左侧导航栏选择评测 > 评测任务。
在评测任务页面右上角，单击新建评测任务。
在基础信息界面，完成以下配置，并单击下一步：评测集。
- 名称：必填，自定义名称，标识当前任务。不能超过 50 个字。
- 描述：选填，自定义描述，可填写当前任务的介绍、要求、规则等信息，并能超过 200 个字。
- 最大并发执行条数：选填，默认为 5 条。评测任务支持并发执行评测集中的条目，但受限于评测对象的并发度和调用评测方法的模型 TPM 限制。这里设置理想的最大执行条数，最多支持 20 条。
在评测集界面，选择指定的评测集和版本，并单击下一步：评测对象。
- 选择后将展示该评测集的描述信息、列名称以及数据总量。
- 在页面右上角单击查看详情，可跳转查看评测集详情。
（可选）在评测对象界面，完成以下配置，并单击下一步：评测方法。
说明
如果您的评测集列参数中（如 actual_output）已包含 Agent 实际输出的评测内容，可以在页面底部单击跳过，直接跳过本步骤。
- Agent应用：选择需要评测的 Agent。
- 版本号：选择 Agent 的指定版本。
- 字段映射：指定评测对象与评测集的输入参数映射关系，用于评测对象准确获取输入数据。
（可选）在评测方法页面，完成以下配置，并单击确认评测任务配置。
说明
您可以在页面底部单击跳过，直接跳过本步骤，评测任务仅获取 Agent 实际输出，适用于人工标注的评测场景。
1. 单击添加评测方法。
  评测方法支持添加多个，上限 10 个。
2. 按名称选择评测方法，并指定版本。
3. 在字段映射区域，配置评测方法字段与评测集字段、评测对象实际输出字段的映射关系，用于评测方法准确获取输入进行评估。
确认评测任务各项配置无误后，单击发起评测任务。
在评测任务数据明细页签，等待评测任务执行完成。
您可以单击刷新，更新评测任务执行状态。