技能评测实验是通过组合评测数据集、评测对象（目标技能版本）和执行模型，对技能执行**动态评测**并生成实验结果的完整过程。系统基于预先创建的评测集与选定的执行模型，对目标技能版本发起评测，并输出可视化的评测报告，为版本迭代优化、上线发布决策提供数据依据。 > **说明** > 该功能当前仅支持华北 2（北京）地域。 ## 背景信息技能创建完成后直接上线，可能面临“幻觉”、工具调用异常、任务执行失败等风险，仅依靠人工调试难以客观、全面地判断其是否达到上线要求。依托统一的评测集、执行模型，能够降低人工主观判断带来的差异，以一致的评估标准，衡量当前技能版本的任务执行效果与输出质量。技能评测可理解为技能上线前的**出厂质检**： |**评估要素** |**对应角色** |**说明** | |---|---|---| |评测对象 |待质检产品 |当前需要质检的技能。 | |评测集 |质检用例 |定义待质检的业务问题、测试任务与能力边界。 | |评估任务 |质检实验 |在统一评测环境中运行待质检技能，按照预设规则检验输出结果，汇总执行轨迹与明细、量化指标（平均轨迹耗时、平均 Token 消耗等）、各维度定性评价以及调优建议。 | ## 适用场景 * **发布前效果验证** 在技能正式发布前，可通过评测验证其任务完成效果、输出质量及调用稳定性，判断是否满足上线要求。 * **多版本效果对比** 使用相同的**评测集**和**执行模型**对不同技能版本进行评测，可对比版本调整前后的表现，辅助判断优化是否有效。 * **配置问题排查** 借助评测提前发现技能运行阶段的各类配置异常，例如模型调用失败、环境变量缺失、工具配置错误、依赖资源不可用等问题。在上线前完成问题定位与修复，减少缺陷配置流入生产环境，降低线上运行故障风险。 ## 前提条件 |前提条件 |说明 | |---|---| |已准备待评测对象 |已创建待评测对象（技能），详情请参见 [手动创建技能](https://docs.volcengine.com/docs/agentkit/create_skills?lang=zh) 或 [通过 Vibe 创建技能](https://docs.volcengine.com/docs/agentkit/EditSkillsFile?lang=zh)。 | |已完成评测集创建 |已创建并发布评测集版本，详情请参见 [构建评测集并添加数据](https://docs.volcengine.com/docs/86681/2607694?lang=zh#gdWPC0Fr)。

> **注意**

> 如需进行多轮对话评测，请在向评测集添加数据时，将**会话历史**字段配置为符合 OpenAI Messages 规范的 JSON 数组。数组中的每个对象表示一条历史消息，格式示例：

```Plain Text```
```[```
``` {```
``` "role": "user",```
``` "content": "请帮我整理会议纪要。"```
``` },```
``` {```
``` "role": "assistant",```
``` "content": "好的，请提供会议内容。"```
``` }```
```]```

| |已完成方舟 API Key 创建 |若无对应 API Key，请完成方舟 API Key 的创建，详情请参见 [管理 API Key](https://docs.volcengine.com/docs/ark/manage-api-keys?lang=zh)。

说明

API Key 为访问火山方舟模型服务的鉴权凭证。在技能评测过程中，平台凭借该 API Key 调用方舟大模型完成推理、执行评测样本，支撑技能与智能体的任务运行。

| |已完成技能空间创建（可选） |若本次评测需要依赖其他技能协同调用、多技能联合执行任务时，请完成相关 [技能空间创建](https://docs.volcengine.com/docs/86681/2137203?lang=zh)。

说明

创建技能时也可以暂不添加技能空间，后续支持随时将该技能添加至目标空间，详情参见加入/移除技能。

| |已完成 MCP 服务创建（可选） |若需要调用 MCP 服务来获取外部工具或系统能力，请提前准备可用的 MCP 服务。如暂无可用 MCP 服务，请进入 MCP 服务页面完成 [MCP 服务创建](https://docs.volcengine.com/docs/agentkit/MCP_services?lang=zh)。 | ## 操作步骤

说明

若需对同一个技能的多个版本进行效果对比，建议保持评测集、执行模型、环境变量完全一致，减少评测条件差异对评测结果带来的干扰，保障版本对比结论可信。

1. 登录 [AgentKit 控制台](https://console.volcengine.com/agentkit)。 2. 在左侧导航树，选择“技能”。 3. 选择“技能”页签后，单击目标技能名称，进入详情页面。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_113c91e58b79f0ca56895e3241bc0c06.png) 4. 选择“技能评测”页签后，单击“发起评测”按钮，参考下表，配置相关参数。 |**参数** |**说明** | |---|---| |**基本配置** || |实验名称 |输入用于标识本次评测实验的名称。建议在名称中体现评测目标、业务场景或版本信息，便于后续查询和对比。 | |评测集 |选择本次评测实验需使用的评测集。如暂无可用评测集，可单击“创建评测集”按钮跳转至相应页面完成 [评测集创建](https://docs.volcengine.com/docs/86681/2607694?lang=zh#gdWPC0Fr)。

> 评测集是本次实验用于自动化测试技能的样本集合，定义了评测的输入样本与预期校验标准，用于衡量技能在指定场景下的任务能力与输出质量。

注意

评测集每项数据需包含文本类型的 input 字段，否则可能导致评测无法正常执行。

| |多轮对话评测 |用于评估模型在连续对话中的上下文理解、信息记忆和逻辑衔接能力。

* **开启多轮对话评测**

开启后，执行每条评测样本时，系统会将前置会话历史与当前输入一并发送给模型，适用于多轮问答、角色扮演、分步任务及带前置约束的对话评测。

* **关闭多轮对话评测（默认）**

关闭后，系统仅发送当前轮输入，不携带会话历史，每条样本均作为独立的单轮请求，适用于单轮问答或单指令能力评测。 | |字段映射 |用于指定数据集字段与评测内容的对应关系，包括：

说明

示例中的question、expected和conversation仅为示例字段名，实际配置以所选评测集中的字段为准。

* **输入：** 映射当前轮用户输入，即用户本轮最新提出的问题、指令或需求。

例如：将输入映射至数据集中的`question`字段，执行评测时，系统会读取该字段，并将内容作为当前轮输入发送给模型。

* **参考输出：** 映射当前样本的标准答案、预期结果或参考回复，当前轮预期的标准答案或参考回复。

例如：将参考输出映射至数据集中的`expected`字段，评测器可使用该字段比较模型实际输出与预期结果，判断回复是否符合要求。

* **会话历史：** 映射当前轮输入之前的历史对话。

> “会话历史”配置项仅在开启**多轮对话评测**后展示，且必须配置。

例如：将会话历史映射至数据集中的`conversation`，该字段应按对话发生顺序保存用户与助手的历史消息，并采用符合评测要求的对话数组格式。开启多轮对话评测后，系统会将会话历史与当前轮输入一并发送给模型。

说明

示例中的question、expected和conversation仅为示例字段名，实际配置以所选评测集中的字段为准。

| |A/B 对照评测 |A/B 对照评测**默认关闭**，您可单击![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_15dac8c76f6546693db29f99f6236625.png) 图标开启该功能。

注意

开启 A/B 对照评测后，系统将同时运行实验组和对照组两条评测链路，每条测试用例均会执行两次。因此，沙箱运行时长和模型 Token 消耗量将相应增加，并可能产生额外费用。计费详情请参见计费说明和模型服务计费说明。

开启后，系统将使用相同的评测集、模型配置和运行环境，同时运行**两组评测（实验组与对照组）任务并生成对比结果**。该功能用于比较 Agent 加载与未加载目标技能时的效果差异，判断技能是否带来实际能力增益，并区分模型原生能力与技能增强能力的贡献。

* **实验组**：加载当前待测技能，Agent 可加载并调用该技能完成测试任务。

* **对照组（基线组）** ：根据 **对照组技能配置**决定加载内容，并在相同条件下执行测试任务。系统以该组结果为基准，衡量**实验组**的效果变化。 | |对照组技能配置 |用于指定 **A/B 对照评测**中**对照组**采用的技能注入方式，支持“不额外注入技能”、“注入当前技能的指定版本”和“注入其他技能的指定版本”，系统将基于该配置，对比**实验组**与**对照组**的评测结果。

* **不额外注入技能（默认）**

对照组不加载额外技能，仅基于模型原生能力执行任务。适用于判断目标技能是否带来实际能力增益。

* **注入当前技能的指定版本**

对照组加载当前技能的指定版本。适用于比较同一技能不同版本的效果差异。

* **注入其他技能的指定版本**

对照组加载其他技能的指定版本。适用于比较不同技能在相同测试条件下的能力表现。

说明

仅开启 A/B 对照评测后，支持配置。

| |A/B 对照技能/版本 |* 当**对照组技能配置**选择“注入当前技能的指定版本”时，单击“A/B 对照版本”下拉列表选择当前技能用于对照评测的具体版本。

* 当**对照组技能配置**选择“注入其他技能的指定版本”时，分别单击“A/B 对照技能”和“A/B 对照版本”下拉列表，选择用于对照评测的其他技能，以及该技能的具体版本。

说明

仅对照组技能配置选择“注入当前技能的指定版本”和“注入其他技能的指定版本”时，支持配置。

| |**模型配置** || |执行模型名称 |选择用于运行目标技能并完成推理的模型。该模型将在执行阶段处理评测集输入并实时生成运行轨迹，其输出结果及运行轨迹将作为后续评分与分析的基础。

说明

模型将按 Token 用量计费，费用详情请参见模型服务计费说明。

建议选用与线上生产环境完全相同的模型开展评测，减少模型差异带来的结果偏差，让评测报告能够真实还原技能上线后的实际运行表现。

| |执行模型 API Key |选择调用模型所用的火山方舟 API Key，该 API Key 作为访问指定模型的鉴权凭证，用于完成接口身份校验，保障评测实验能够正常调用方舟模型进行推理。

说明

请确保所选 API Key 处于有效状态，并具备对应模型的访问权限；若凭证无效、权限不足或与模型所属账号不匹配，可能导致模型调用失败，影响评测任务执行。可前往获取 API Key 并配置查看或管理 API Key。

| |评分模型名称 |选择评测评分阶段用于分析执行结果并完成自动评分的模型。评分模型与执行模型可以相同，也可以根据不同阶段的能力要求选择不同模型。

> 评分模型与执行模型可以相同，也可以根据不同阶段的能力要求选择不同模型。

说明

模型将按 Token 用量计费，费用详情请参见模型服务计费说明。

建议根据评测任务的复杂度和评分要求选择理解、推理能力相匹配的模型，以提高评分结果的准确性和稳定性；同一评测集进行多次对比时，建议保持评分模型一致，避免模型差异影响结果的可比性。

| |评分模型 API Key |选择调用评分模型所需的方舟 **API Key**。该 **API Key** 作为访问所选评分模型的身份鉴权凭证，用于完成接口调用认证并确保系统可正常执行自动评分。

说明

请确认所选 API Key 有效，且拥有目标模型的访问权限。若凭证失效、权限不足，或密钥与模型所属账号不匹配，将造成模型调用失败，影响评测任务运行。可前往获取 API Key 并配置查看或管理 API Key。

| |**高级配置** || |产物评测 |用于控制是否对执行阶段生成的产物进行评估。系统可通过分析产物中存在的问题，为后续优化提供评分结果、问题分析和评测结论。

* **开启产物评测（默认）**

开启后，系统会将执行阶段生成的文件保存至云端（存储对象），并结合文件内容、运行轨迹和文本输出进行评分。

说明

本次实验结束后，系统会自动清理相关文件，仅保留评分结果、问题分析和评测结论。

* **关闭产物评测**

关闭后，系统不会保存实验运行产生的文件。评测打分只参考运行记录和文字输出，不会查看、分析生成的文件。 | |每条样本执行次数 |默认为 1，可按需调整，建议在评测集样本数量较少的场景下，调高执行次数。

> 当设置数值大于 1 时，系统会对同一条评测样本重复执行多次，以此降低大模型输出随机性带来的评测结果波动，提升评测结论的稳定性。

注意

单次技能评测任务的总执行量不得超过 1000，计算公式：评测集样本数量 × 每条样本执行次数 ≤ 1000

示例：

若评测集包含 100 条样本时，每条样本执行次数最多可设置为 10，即 100 × 10 = 1000

执行次数增加后，模型调用次数、Token 消耗等资源开销会同步上升，产生更多费用。计费详情请参见计费说明和模型服务计费说明。

| |绑定技能空间 |当目标技能需依赖其他技能协同执行时，可绑定对应的**技能空间**，验证组合调用场景下的整体执行效果。 | |绑定 MCP 服务 |当待评测技能依赖特定 MCP 工具完成任务时，单击 MCP 服务下拉列表，选择用于提供外部工具或系统能力的 MCP 服务。绑定后，评测沙箱可在技能执行期间访问对应 MCP 服务提供的外部工具能力，例如代码执行或数据库查询等。

> 如暂无可用 MCP 服务，请进入 MCP 服务页面完成 [MCP 服务创建](https://docs.volcengine.com/docs/agentkit/MCP_services?lang=zh)。

注意

仅支持绑定已开通公网访问，且入站认证方式为 API Key 的 MCP 服务。

若技能不依赖外部 MCP 工具，则无需配置。有依赖却未绑定，有依赖却未绑定，会导致工具调用失败、评测结果不准。

| |启动脚本 |在运行**技能**的沙箱实例启动前执行的脚本，支持输入多行 Shell 命令。可用于预安装技能运行所需 CLI 工具、准备依赖文件、初始化运行环境，确保评测沙箱满足技能执行要求。

以下场景需要配置：

* **安装依赖工具**：技能依赖 ffmpeg、pandoc 或自定义 CLI，且评测沙箱默认未内置相关工具。

* **准备文件和目录**：技能运行前需下载依赖文件、创建指定目录或生成初始化数据。

* **初始化运行环境**：需设置文件权限、写入配置文件或执行其他环境准备操作。

说明

若技能无额外环境依赖，则无需配置。

| |环境变量 |单击 **+添加环境变量**按钮，根据控制台界面提示的变量输入要求，输入**变量名**和**变量值**，配置技能运行时依赖的参数，例如访问凭证、服务地址或功能开关。

> 将敏感信息通过环境变量外置管理，可减少在技能文件中硬编码导致的信息泄露风险。

注意

变量名称需与技能代码中读取的名称保持一致。

| 5. 单击“创建并运行”按钮，发起评测实验。 6. 观察评测进度，**了解评测任务执行进展**：发起评测后，系统将在评测进度页面依次执行以下三个阶段，无需手动操作。页面会实时展示各阶段的状态、任务完成数量及进度百分比，便于了解实验执行进展。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_8e2186f8860c8192155af677180e3319.png)

说明

若启用了 A/B 对照评测，技能评测页面将同时展示实验组评测进度和对照组评测进度。两组评测独立执行，并依次经历“评测轨迹动态生成中 → 轨迹评测中 → 报告生成”三个阶段。

* **评测轨迹动态生成中** 系统根据所选**评测集**在沙箱中调用智能体运行目标**技能**，生成可供后续评测使用的执行轨迹。该阶段会展示已完成数据条数、总数据条数及进度百分比，是开展轨迹评测的基础。 * **轨迹评测中** 系统基于已生成的评测轨迹执行实际评测，判断技能的执行过程和输出结果是否符合预期。该阶段会展示已完成数据条数、总数据条数及进度百分比。 * **报告生成** 系统汇总轨迹生成结果和评测结果，生成本次实验的评测报告。报告可用于分析异常样本、评估任务完成效果，并对比不同技能版本之间的差异，详情请参见 [查看评测结果并修复技能问题](https://docs.volcengine.com/docs/AgentKit/view-evaluation-progress-and-report?lang=zh)。