You need to enable JavaScript to run this app.
文档中心
数据智能体

数据智能体

复制全文
下载 pdf
评估打标
管理运营评估任务
复制全文
下载 pdf
管理运营评估任务

为 Agent 发起运营评估任务。评估任务会根据设定的评估粒度、时间范围、用户范围以及抽样方式等规则,对接入的 Agent 数据进行评估打标,并输出评估报告,报告内容包含核心数据指标、会话意图分析、问题和优化建议等详细数据。

新建运营评估任务
  1. 登录增长分析平台
  2. 在顶部导航栏,选择 Agent 运营分析
  3. 在左侧选择业务空间,并进入评估打标 > 评估任务页面。
  4. 在页面右上角,单击新建任务,并完成以下配置。
    Image
    • 任务名称:自定义名称,标识当前评估任务。
    • 评估 Agent:选择需要评估的 Agent。若未接入 Agent 请先接入,具体操作请参见添加 Agent
    • 数据回流:根据实际所需,选择数据回流数据不回流。选择数据回流后,系统将按照评估器输出规则回流数据。
    • 评估粒度
      • Trace消息:单轮请求,一次完整请求/任务/流程的全生命周期唯一标识,会将一次业务流程里所有相关执行片段串成一条完整链路,全局唯一。
      • Session会话:多轮对话,用户与 Agent 从开始到结束的完整交互过程,是一次连续的对话旅程,智能助手会在会话期间维持上下文信息。
    • 时间范围:评估指定时间段内的 Agent 数据。
    • 抽样方式
      • 随机抽样:由系统随机抽样数据进行评估。需要设置抽样数量,数量不超过 100,000。
      • 全量评估:即评估所有数据。
      • 百分比抽样:需要设置百分比,每条数据有所选百分比概率被抽样到。
      • 分层抽样:需添加一至多个用户群,自定义抽样条数(数量不超过 100,000)、筛选条件进行分层抽样。
        Image
    • 消息属性筛选:根据实际需要,设置指定属性的筛选条件过滤消息。支持添加多个筛选项,多个属性之间支持 AND 或 OR 关系。
      Image
    • 用户筛选:根据实际需要,添加属性、行为筛选指定范围的用户。支持添加多个筛选项,多个项目之间支持 AND 或 OR 关系。
      Image
  5. 在界面右下角单击预估数据量,可查看系统预估结果,仅作参考。
  6. 单击下一步,在配置评估器界面,选择当前评估任务所需使用的评估器。
    Image
    • 若您未创建评估器,请先创建,具体操作请参见新建评估器
    • 支持通过评估器名称、类型、输出结果筛选过滤评估器。
  7. 单击确定
    后续可在评估任务列表中,查看评估任务的处理进度。
    Image

查看评估任务报告

新建运营评估任务之后,等待任务执行完成,可在任务列表的操作列单击查看,查看报告详情。
Image
在报告详情页,支持以下操作。

  • 查看用户数据评估数据打标耗时评估器统计看板。
    Image
  • 查看评估器输出结果统计看板,包括模型 Token 消耗数据。例如,某会话情绪评估器的情绪标签分布统计结果。
    在看板右上角单击深度分析,可跳转至事件分析功能查看详细分析结果。
    Image
  • 查看评估结果的数据明细。
    • 会话评估会展示每条会话的 ID、评估状态、输入数据、评估耗时、评估器输出结果等信息。
      Image
      操作列单击评估详情,可查看评估器结果,包含所用评估器、评估状态、评估结果与评估理由。
      Image
    • Trace 评估会展示 Trace 的 ID、评估状态、输入数据、评估耗时、评估器输出结果等信息。
      Image
      • 操作列单击查看,可查看当前 Trace 对应的 Span 调用树,展示完整的执行链路,单击某一 Span,可查看对应的 RunMetadata 数据。
        Image
        • Run:展示所选 Span 的输入和输出数据。在页面右侧展示 Span 的参数信息,部分参数说明:
          • Status:当前链路的状态
          • Span ID:操作单元 ID
          • Session ID:会话 ID
          • Type:类型,例如模型(model)、技能(skill)、提示词(prompt)
          • 耗时:执行当前链路的耗时
          • 开始时间:请求开始处理的时间
          • Tokens:输入和输入的总 Token 数
          • ModelProvider:模型服务商
          • ModelName:模型名称
          • Stream:流式响应
          • LatencyFirstResp:流式响应中首次返回数据的时间
        • Metadata:以 JSON 格式展示所选 Span 的元数据。
      • 操作列单击评估详情,可查看评估器结果,包含所用评估器、评估状态、评估结果与评估理由。
        Image
最近更新时间:2026.08.04 10:34:28
这个页面对您有帮助吗?
有用
有用
无用
无用