文档中心

AgentKit

技能评测与质量安全

评测与质量安全概述

什么是评测与质量安全

评测与质量安全是 AgentKit 平台为技能提供的发布前验证能力集合，涵盖质量检查、安全扫描和技能评测三个子能力。通过对技能的规范合规性、安全风险和业务执行效果进行系统性审查，帮助开发者在技能上线前建立可量化、可追溯的质量基线，确保进入生产环境的技能满足平台标准与业务预期。

为什么需要评测与质量安全

技能作为 Agent 能力的核心载体，其质量直接影响 Agent 的对话准确性、任务完成率和用户体验。在缺乏系统化验证的情况下，常见问题包括：

AgentKit 将上述问题的发现时机从上线后提前到发布前，通过自动化检测手段降低人工排查成本，缩短问题修复周期，从根本上提升 Agent 的交付可靠性。

推荐场景

以下场景建议在技能发布前完成完整的评测与质量安全验证：

场景	说明
新技能首次发布	对技能的规范性、安全性和业务效果进行全量验证，确认达到上线标准。
技能逻辑迭代更新	重新执行评测，对比历史结果，确认优化有效且未引入新问题。
接入生产级 Agent	对挂载到重要业务场景的技能进行强制验证，提升交付信心。
安全合规审查	在涉及用户数据、外部接口调用的技能中，通过安全扫描满足合规要求。
多人协作开发	对他人提交或外部引入的技能进行独立验证，统一团队质量基准。

基本概念

概念	说明
评测实验	一次完整的技能评测任务，包含评测集、执行记录和评分报告，支持多次复测对比。
评测集	用于评测的输入样本集合，每条样本包含输入参数和预期输出，是评测结果可靠性的基础。

工作原理

质量检查、安全扫描和技能评测三个环节相互独立，可单独运行，也可组合使用：

权限边界

基本功能

质量检查

质量检查主要用于执行通用质量验证，重点关注技能在内容表达、输出质量和运行稳定性方面的基础问题。通过质量检查，可提前识别话术合规、输出稳定性、召回效果及幻觉风险等问题，帮助提升技能的整体可用性和交付质量。了解更多

安全扫描

安全扫描主要用于检测技能在代码、配置及输出过程中可能存在的安全风险，重点关注敏感信息暴露、提示词注入和违规内容等问题。通过安全扫描，可在发布前降低潜在安全隐患，提升技能的合规性和安全性。了解更多

技能评测

技能评测主要用于验证技能的实际执行效果与业务预期是否一致，重点关注业务效果和任务完成质量。通过评测，可从业务视角判断技能是否具备上线条件，为发布决策提供依据。了解更多

三者的关系与区别

质量检查、安全扫描和技能评测均属于技能发布前的质量验证环节，三项能力相互补充，不能相互替，质量检查更偏向基础质量把关，安全扫描更偏向风险防控，技能评测更偏向业务价值验证。

能力	关注维度	基本功能	对技能的作用
质量检查	基础规范	对技能包结构、SKILL.md 元信息、文档格式、脚本语法及资源引用等执行静态检查，按 P0 阻断、P1 警告、P2 建议分级展示问题。	提前发现文件缺失、元信息不规范、脚本语法错误及链接失效等基础缺陷，减少解析和执行过程中的异常。
安全扫描	安全风险	对技能包内容执行静态安全扫描，识别硬编码凭证、恶意代码、不安全网络访问及不合规资源使用等潜在风险。	为风险整改和发布准入提供依据，降低敏感信息泄露、运行环境受攻击及资源被滥用的风险。
技能评测	业务效果	基于评测集和指定执行模型运行目标技能，评估任务完成度、结果正确性、约束遵守度等表现，并生成评测报告。	验证实际执行效果与业务预期的一致性，识别能力短板，支持版本效果对比和持续优化。

最近更新时间：2026.10.09 14:36:53

这个页面对您有帮助吗？

有用

无用