Agent 运营分析提供 LLM 评估器。在开始运营评估任务前，您需要结合业务所需（如判断会话是否与业务内容相关）自定义构建评估器，在后续评估过程中为 Trace 或 Session 进行评估打标。基于评估结果可针对 Agent 的业务使用情况、线上效果情况提供分析报告和看板，洞察更多 Agent 指标增长。

1. 登录增长分析平台。
2. 在顶部导航栏，选择 Agent 运营分析。
3. 在左侧选择业务空间，并进入评估打标 > 评估器管理页面。
4. 在页面右上角单击新建评估器，并完成以下配置。
   
   • 展示名称：自定义评估器名称，建议填写时尽量贴近实际业务意义。
   • 回流属性名称：回流属性英文名称，将作为该评估器回流后的属性英文名。
   • 描述：描述评估器的用途和规则，建议填写时尽量贴近实际业务意义。
   • 评估粒度：
     • Trace消息：单轮请求，一次完整请求/任务/流程的全生命周期唯一标识，会将一次业务流程里所有相关执行片段串成一条完整链路，全局唯一。
     • Session会话：多轮对话，用户与 Agent 从开始到结束的完整交互过程，是一次连续的对话旅程，智能助手会在会话期间维持上下文信息。
   • 配置信息：根据实际的评估需求编写评估器系统提示词，编辑期间支持添加变量、支持 AI 智能调优提示词内容。
   • 输入：当系统提示词中包含输入参数时，需要配置输入参数的描述与示例。
     
   • 输出：评估器输出类型，支持单选布尔类、标签类、分值类。
     • 布尔类：需要设置是、否的输出描述。
     • 标签类：自定义添加一到多个标签，并设置标签描述。
     • 分值类：按照 1~5 等级进行分值，并设置各分值描述。
   • 输出规则：根据实际所需选择仅评估结果或评估结果+评估理由。
5. 配置完成后，在页面右上角单击提交。
   成功创建的评估器可在评估器管理列表中查看。
   

在评估器管理列表，支持对评估器进行以下管理操作。

• 单击评估器名称，可进入评估器详情页，查看评估器配置信息，在页面右上角支持编辑评估器。
  
• 在评估器列表的状态列支持启用或停用评估器。已停用的评估器无法被评估任务关联使用。
• 在评估器列表的操作列支持：
  • 单击复制，可基于当前评估器配置快速新建一个评估器，新建过程中支持修改原有配置项。
  • 单击编辑，可修改当前评估器的配置。