运营分析用于查看智能体在一段时间内的使用情况,帮助您快速了解三件事:有多少人在用、回答是否正常、单次处理慢在哪里。本文将详细介绍如何使用运营分析功能来监控和排查智能体问题。您可以在此查看两类内容:
类型 | 描述 | 界面图 |
|---|---|---|
数据统计 | 集中查看使用人数、会话数量、请求数量、耗时、错误率和模型调用情况。 | |
Trace 与会话 | 按单次请求或完整对话查看输入、输出、耗时及每一步处理过程。 |
在 数据统计 > 场景看板 中,通过顶部页签切换查看内容:
指标类型 | 说明 | 示意图 |
|---|---|---|
指标总览 | 查看总用户量、总会话量、错误率和总 Token 消耗等信息,并查看指标趋势及 AI 生成的整体洞察。 | |
业务指标 | 查看会话数、请求数、用户量、平均 DAU、新用户数和人均会话轮次等信息,判断使用规模和活跃变化。 | |
性能指标 | 查看 Trace 总次数、高延迟占比、端到端 P99 耗时、调用错误率及各处理节点的耗时分布等信息。 | |
组件指标 | 查看工具调用错误码,以及模型调用次数、调用人数、错误率、耗时、模型调用排行和趋势等信息。 说明 组件指标只展示已经发生调用的模型数据,不能在该页面直接新增模型。新增模型需要由具备权限的管理员在 iDA 管理后台完成。详见模型配置文档。 |
说明
建议优先查看指标总览。当发现错误率升高、耗时变长或 Token 消耗异常时,再切换到性能指标或组件指标继续确认原因。
error=true 筛选出所有异常记录)进行精确查找。进入详情后,可从三个区域核对信息:
区域内容 | 描述 | 示意图 |
|---|---|---|
左侧会话流 | 查看用户每一轮输入和智能体返回结果,点击「查看更多」可展开完整内容。 | |
中间处理链路 | 查看一次回答依次经过的附件、模型、技能、上下文等节点,每个节点会显示处理状态和耗时。 | |
右侧基础信息 | 查看会话轮次、持续时长、开始时间、更新时间等信息。 |
在中间区域可通过 Input、Output、Metadata、Details 分别查看节点输入、输出、元数据和详细信息。排查长耗时时,应重点比较各节点的耗时;排查结果异常时,应同时查看用户输入、节点输出和最终回答。
想了解的问题 | 建议查看位置 | 重点关注内容 |
|---|---|---|
最近有多少人在使用 | 数据统计 > 场景看板 > 指标总览或业务指标 | 总用户量、平均 DAU、新用户数和会话数 |
回答为什么变慢 | 性能指标、长耗时视图及会话链路详情 | P99 耗时、各节点耗时和模型处理时间 |
为什么出现错误结果 | 异常视图、Trace 详情及组件指标 | 错误率、工具错误码、节点状态与输出内容 |
哪个模型使用最多 | 组件指标 > 大模型指标 | 模型调用次数排行、调用人数、错误率和耗时 |