文档中心

AgentKit

管理技能评测

查看评测结果并修复技能问题

评测实验执行完成后，可查看本次实验生成的评测报告。通过分析评测实验结果，可以从能力雷达图、效率与成本分析、分维度表现、运行记录等多个能力维度，量化评估技能的实际表现，全面掌握技能整体能力与资源消耗情况。

对于需要深入分析的问题，可进入运行记录逐条浏览样本的输入、输出与分维度评分，精准定位低分或异常样本；再结合轨迹详情与报告中的调优建议，系统性地排查并修复技能问题，持续提升技能输出质量。

前提条件

技能评测任务已发起并执行完成，具体操作请参见发起技能评测实验。

查看评测报告并修复技能问题

借助评测报告，您可以基于统一量化评估技能的业务执行效率与成本、多维度能力表现等，快速定位能力短板，获取可落地的优化建议，为技能迭代优化、版本效果横向对比、上线准入决策提供完整的数据支撑。

步骤一：进入技能详情页

在左侧导航树，选择“技能”。

选择“技能”页签后，单击目标技能名称，进入详情页面。

步骤二：查看评测报告

通过查看测评报告，了解目标技能综合总得分、能力雷达、效率与成本等指标，结合平台提供的调优建议，定位技能的优势与不足，为问题修复或上线评估提供参考依据。

说明

不同评测实验如使用不同的评测集版本、执行模型或环境配置，评测结果可能不具备直接可比性。

评测报告根据是否开启 A/B 对照评测分为两种，请按实际情况查看。

未开启：仅展示单组（实验组）评测结果。

开启：同时展示 A/B 对照（实验组和对照组）报告，支持对比查看两组的执行轨迹、评测结果和量化指标。

未开启 A/B 对照评测

开启 A/B 对照评测

若您在发起技能评测时未开启 A/B 对照评测，评测报告仅展示单组（实验组）评测结果。

查看当前最新评测报告：在技能详情页，单击“技能评测”页签，可查看如下信息：

参数	说明	图例
总综合得分	展示当前评测实验的整体得分，满分为 100 分。该分数用于概览目标技能在多个评测维度下的综合表现。说明总综合得分是多个维度的汇总结果，不建议仅依据单一分数判断技能是否达到上线要求，需要结合优先调优建议详情综合分析。
能力雷达	通过雷达图可视化展示六个维度的相对表现，快速识别目标技能的能力优势与短板。各维度说明如下：证据可靠性：衡量输出结论是否具有充分、可靠的依据，是否能够通过工具返回结果或其他有效证据支撑。过程稳健度：衡量任务执行过程是否稳定、合理，是否存在无效探索、重复调用或执行异常。约束遵守度：衡量输出及执行过程是否遵守用户要求、任务规则和既定约束。结果正确性：衡量最终输出是否准确，是否产生可判断、可使用的结论或交付结果。技能遵循度：衡量执行过程中是否正确理解并遵循目标技能的定义、流程与约束。任务完成度：衡量主要任务目标是否完成，以及输出结果是否覆盖用户提出的核心诉求。
效率与成本	展示目标技能在本次实验中的平均轨迹耗时、平均 Token 消耗、平均工具调用次数及平均执行步骤错误率，用于分析执行效率和资源消耗。平均轨迹耗时展示每条评测样本的平均执行时长，可用于判断任务处理效率。平均 Token 消耗展示每条评测样本轨迹平均消耗的 Token 数量，可用于评估模型调用成本。平均工具调用次数展示每条评测样本在执行过程中的平均工具调用次数，可用于判断工具使用是否充分或是否存在冗余调用。平均执行步骤错误率展示每条评测样本在执行过程中的平均步骤（Span）错误率，可用于分析流程稳定性。
分维度表现	展示六大评估维度各自的综合得分与详细评价，便于查看每项指标的评分依据，定位目标技能在各维度上存在的主要问题与优化方向。
优先调优建议	展示对应的分级优化建议，并关联相关待修改文件，帮助您快速定位需要调整的内容，提升调优效率。详情请参见步骤三：根据评测结果修复技能问题。
实验基本信息	展示本次实验使用的多轮对话评测、产物评测、评测集、评测集版本、执行模型、API Key、挂载的技能空间等。可用于后续追溯实验上下文、复现评测任务，对比多轮调优前后的实验配置差异等。
运行记录	单击评测报告右上角的“运行记录”按钮，可查看逐条轨迹评测结果与执行明细，您可在此查看每条样本的输入内容、实际输出、评分表现、执行失败的评测样本，详情请参见查看运行记录。

查看历史评测实验

在技能详情页，单击“技能评测”页签。

单击当前评测实验名称，在下拉列表中选择状态为已完成且不带“A/B 对照评测”标签的历史评测实验，标签的历史评测实验，即可打开非 A/B 对照类型的历史评测报告。历史评测报告与最新评测报告页面结构、指标展示形式完全一致，详情参见上述表格。

若您在发起技能评测时开启 A/B 对照评测，将同时展示实验组与对照组评测报告。

A/B 对照评测分为实验组与对照组（基线组）。两组使用完全相同的测试用例、模型参数与运行环境，唯一区别为是否加载待测技能：

实验组：加载当前待测技能，Agent 可加载并调用该技能完成测试任务。

对照组（基线组）：根据对照组技能配置加载指定内容，并在相同条件下执行测试任务。系统以该组结果作为对比基准，衡量实验组的效果变化。对照组技能配置参数由发起技能评测实验时配置。

查看实验组评测报告

注意

A/B 对照评测报告以对照组为基准，通过箭头和差值展示实验组各项指标的变化：

查看当前最新评测报告

在技能详情页，单击“技能评测”页签，可查看开启 A/B 对照评测后，实验组的评测报告。

持平：实验组与对照组的该项指标数值无明显变化。

减少（↓）：指标相较于对照组有所下降。对于耗时、错误率、Token 消耗这类负向指标，数值减少一般代表效果优化；对于得分这类正向指标，数值减少则代表任务效果退化。

增加（↑）：指标相较于对照组有所上升。对于得分这类正向指标，数值增加一般代表任务效果提升；对于耗时、Token 消耗、工具调用次数这类指标，数值增加代表成本升高或者执行效率下降。

说明

除上述 A/B 对照特有的指标对比差异外，其余报告结构和参数说明与未开启 A/B 对照评测时一致，相关说明请参见“未开启 A/B 对照评测”。

查看历史评测实验

在技能详情页，单击“技能评测”页签。

单击当前评测实验名称，在下拉列表中选择状态为已完成且带“A/B 对照评测”标签的历史评测实验，即可打开 A/B 对照历史评测报告。A/B 对照类型的历史评测报告与最新评测报告页面结构、指标展示逻辑保持一致，详细说明请参见“查看当前最新评测报告”。

查看对照组评测报告

说明

仅在发起技能评测时开启A/B 对照评测，才支持查看对照组（不加载技能）评测报告。

单击评测报告右上角的“对照组报告”按钮，即可查看对照组原始报告，相关参数说明请参见“未开启A/B 对照评测”。

步骤三：根据评测结果修复技能问题

基于评测报告中的优先调优建议，结合综合得分、分维度表现、效率和成本、运行记录等，对当前技能进行针对性整改。建议优先处理对任务执行结果或业务使用影响较大的问题，并根据具体问题表现确定优化方向，例如任务完成度不足、结果正确性偏低等。

说明

P0、P1、P2 代表评测报告给出的推荐处理优先级，数字越小优先级越高，推荐按 P0 > P1 > P2 的顺序处理问题。该优先级仅为参考，请结合评分依据与业务影响，确认问题实际修复优先级。

在优先调优建议列表中，查看优先级、调优项、修复建议，确认问题原因、影响范围及处理方向。

在关联文件列，单击目标文件，打开对应技能配置文件。

针对评测发现的优化建议修改内容后，单击“保存”按钮，完成问题调整。

查看运行记录

单击评测报告右上角的“运行记录”按钮，可查看逐条轨迹评测结果与执行明细。您可在此定位低分、执行失败的评测样本，查看每条样本的输入内容、实际输出、评分表现。

轨迹评测

轨迹评测用于查看评测集各项数据的输入、实际输出和评分结果，便于分析目标技能在单条任务上的执行效果，适合排查低分样本及分析评分依据。

参数	说明
输入	展示评测集中的输入内容，即当前轨迹需要处理的问题或任务。
实际输出	展示目标技能在本次执行中生成的实际结果。
评分表现	展示当前轨迹在相关评测维度下的评分结果，用于判断输出与预期的差异。
查看轨迹	单击查看轨迹按钮，可进入当前样本的详细执行轨迹页面，进一步查看该条数据在评测过程中的执行链路和上下文信息。了解更多

执行明细

执行明细用于查看每条评测数据的实际执行情况，适合排查调用失败、执行异常或耗时问题。

参数	说明
输入	展示本次执行接收的输入内容。
输出	展示本次执行生成的结果。
状态	展示当前记录的执行状态，并支持按状态筛选记录，便于集中查看失败或异常数据。
执行时间	展示当前记录的执行耗时或执行时间信息，用于分析性能及异常延迟。

最近更新时间：2026.10.21 16:10:57

这个页面对您有帮助吗？

有用

无用