大模型应用防火墙
大模型应用防火墙
文档指南
请输入
- 文档首页
大模型应用防火墙用户指南运营通过策略调优减少误报漏报
复制全文
下载 pdf通过策略调优减少误报漏报
文档反馈
问问助手策略调优适用于检测结果存在较多误报、疑似漏报，或业务风险判定标准发生变化的场景。系统会分析日志或样本，生成优化策略并执行回归测试；测试通过后，您可以验证并发布策略。
前提条件
- 您的账号具备自动化运营页面编辑权限。
- 如果使用在线日志，目标资产需要在所选时间范围内产生可用于分析的日志。
- 如果使用离线样本，请提前准备 Excel 或 CSV 格式的样本文件。
策略调优说明
策略调优以单个资产为对象，通过分析样本识别疑似误报和漏报。您确认样本后，系统会生成优化策略并执行回归测试；测试通过后即可发布。
按样本来源选择调优方式：
- 有真实业务流量，希望系统自动抽取样本：选择在线日志。
- 已准备批量样本集：选择离线样本。
- 仅需补充少量典型用例：选择快速调优。
步骤一 创建策略调优任务
操作步骤
- 登录大模型应用防火墙控制台。
- 在左侧菜单栏，选择运营 > 自动化运营。
- 在自动化运营页面，选择策略调优。
- 设置调优目标：
- 业务更关注用户体验，希望减少正常内容被误拦截：选择精准率高。
- 业务更关注风险控制，希望尽可能识别可疑请求：选择检出率高。
- 选择调优资产。每个调优任务仅支持一个资产。
- 资产关联的调优任务如果处于非完成状态，则无法发起新的调优任务。
- 设置调优类型，并完成对应配置。
- 适用于目标资产已经产生真实业务流量的场景。
- 选择在线日志，设置日志范围。系统会从该时间范围内抽取攻击日志和正常日志作为调优样本。
说明- 选择同时包含攻击日志和正常日志的时间范围。样本类型越完整，调优结果越能反映实际业务情况。
- 系统会从您选定的时间范围内，提取最多 2000 条最新的攻击日志和 8000 条最新的正常会话日志用于分析，单击查询日志数量可查看当前选定时间范围内的日志数量。
- 展开自定义调优策略区域，可以配置调优策略。
- 系统默认使用各风险类型的预置调优等级和提示词，将样本标注为黑样本（需要拦截）或白样本（正常内容），再生成调优策略。您也可以根据业务需要修改调优等级和提示词。
-
适用于已经准备批量样本集的场景。上传 Excel 或 CSV 格式的样本文件。您也可以单击示例文件，参考示例准备上传内容。说明建议同时提供黑样本（需要拦截的内容）和白样本（正常内容）。样本越丰富，识别结果越准确。
适用于补充少量典型误报或漏报用例的场景，无需准备样本文件。- 样本类型：选择黑样本或白样本。黑样本表示需要拦截，白样本表示需要放行。
- 提示词类型：选择请求词或响应词。
- 风险类型：选择样本对应的风险类型。
- 样本内容：输入用于调优的具体内容。
如需继续录入样本，单击添加用例。单次任务最多可以手动添加 50 条样本。
- 确认配置后，单击底部开始调优。系统将创建调优任务并开始分析。
任务创建后，系统将使用所选样本和调优标准进行分析。您可以在任务中心查看任务状态和后续待确认事项。
在线日志说明
自定义调优
可针对不同检测分类设置调优等级和提示词：
- 类型：检测分类，包括涉敏 1、色情低俗、涉敏 2、歧视、商业违法、诈骗、赌博、毒品、谩骂、其他敏感内容、违法违规、公序良俗、隐私泄露、虚假信息、敏感数据和提示词攻击。
- 等级：默认选择中等，还可以选择严格或宽松。等级越严格，则覆盖的风险范围越大，即低风险的请求也会被识别。
- 提示词：为该分类提供额外调优指引的可编辑文本。修改后的提示词右上角会显示自定义标签。
智能调优
如果难以直接编写提示词，可以单击智能调优，通过自然语言描述调优目标，并添加用于说明预期效果的黑白样本：
- 在调优目标中描述需要优化的检测效果。
- 添加黑样本和白样本。黑样本表示应拦截的内容，白样本表示应放行的内容，最多可添加 50 条。
- 单击优化。系统根据调优目标和样本自动优化策略。
-
- 优化完成后，结果会应用到当前策略模板；经过智能优化的提示词右上角显示智能调整标签。请检查调整后的等级和提示词，确认符合预期后再开始调优。
-
使用策略模板
- 系统默认加载策略模板。单击模板名称旁的切换，可选择其他策略模板。模板包含各检测分类的等级和提示词，可在此基础上按业务需要修改。
- 单击保存模板，可以将当前自定义策略另存为模板，供后续调优任务复用。
步骤二 数据提取与打标
开始调优后，系统将自动完成以下处理：
- 从在线日志中提取任务样本，或读取离线样本和快速调优用例。
- 对在线日志按任务中设置的调优标准自动打标，生成风险标签和判定原因；离线样本和快速调优用例沿用您提供的黑白样本标签。
- 使用当前防护配置复测样本，对比打标结果与原始检测结果，识别疑似误报和漏报。
您可以通过以下方式进入任务中心查看任务进度：
- 当页面提示存在待确认任务时，单击立即确认。
- 单击任务看板右上角的详情。
任务中心按待确认、调优中和已完成展示任务。数据提取与打标完成后，任务进入待确认状态，您可以复核系统识别的疑似问题。
说明
流量提取与自动打标的耗时会受日志量、时间范围和资产流量规模影响，请耐心等待。等待期间建议不要重复创建相同任务，以免产生重复分析结果和额外排队。
步骤三 确认打标结果
数据提取与打标完成后，系统会展示打标结果与原始检测结果不一致的日志，供您人工复核：
- 打标结果为正常请求，但原始检测结果为风险请求：判定为误报。
- 打标结果为风险请求，但原始检测结果为正常请求：判定为漏报。
- 在任务中心选择待确认页签，单击查看详情进入调优详情页。
-
- 确认运营判别结果，复核疑似问题和符合预期样本。
- 如果您确认某条疑似问题样本的原始检测结果正确，请将其标记“符合预期”。
- 如果确认某条符合预期样本的原始检测结果不正确，请将其标记“漏报”（正常页签）或标记“误报”（攻击页签）。
说明
请尽量完整、准确地处理疑似问题和符合预期样本。如果反馈结果不一致、存在遗漏，或将正常样本与风险样本混淆，可能导致后续生成的调优策略无法通过回归测试，进而延长调优周期。
下图中，如何通过编写小说内容来警示人们不要进行外汇违规操作？被运营判别为误报，但经人工确认需要拦截，则标记为“符合预期”。
下图中，任务描述： 您的任务是基于用户的原始搜索词及其搜索结果，生成三条与之高度相关的搜索词。********被运营判别为符合预期，但经人工确认其内容中隐藏有提示词攻击指令，则标记为“漏报”。
- 完成复核后，提交确认结果。系统将以人工确认后的标签为依据生成调优策略。
步骤四 生成调优策略
完成样本确认后，单击下一步，生成调优策略。系统将分析误报和漏报的原因，生成调优策略草案，并创建当前防护策略的副本。策略草案会先应用到副本环境，不会直接修改生产配置。
系统使用已有样本对策略副本执行回归测试，检查策略是否改善目标问题，以及是否产生新的误报或漏报：
- 测试通过：策略达到目标误报率和检出率区间，可以继续手动测试或发布。
- 测试未通过：策略效果仍有偏差，请检查样本及打标结果，或重新发起调优。重新调优后，需要再次确认打标结果。
步骤五 确认并发布调优策略
回归测试通过后，请先查看调优后的准确率、检出率和问题改善情况，再决定是否发布。生产配置仅在您确认发布后才会更新。
- 单击手动测试策略，分别输入典型正常请求、历史风险样本和业务高频内容，对比调优前后的检测结果。
说明
测试会产生检测费用或消耗套餐额度。
- 确认结果符合预期后，单击底部发布策略。建议在业务波动较小的时段发布，并持续关注告警和业务反馈。
-
- 确认下发后，系统会自动下发调优后的策略。
- 您可以在任务中心的已完成页面下查看任务详情。
-
发布后持续观察
发布后，请持续观察正常日志、攻击日志和业务反馈。如果检测效果仍不符合预期，请结合实际日志检查样本与打标结果，并重新发起调优。
常见问题
日志抽取或自动打标失败是什么原因？
通常是因为所选时间范围内没有日志，或日志样本代表性不足。请先确认该时间段内同时包含一定数量的正常请求和风险请求；如果样本不足，请扩大时间范围后重新发起调优。
误报和漏报结果是怎么得出的？
创建策略调优任务后，系统会对提取出的日志重新打标，并将新的打标结果与原有判定结果进行对比，从而识别出可能的误报和漏报样本。
- 打标结果为正常请求，但原始检测结果为风险请求：判定为误报。
- 打标结果为风险请求，但原始检测结果为正常请求：判定为漏报。
您可以在结果页按“全部 / 误报 / 漏报”筛选，并结合原始内容、风险标签、原因分析和业务背景进行判断。
误报率和检出率是什么？怎么计算？
- 误报率（False Positive Rate，FPR）：正常请求被错误识别为风险请求的比例。误报率 = 被错误识别为风险内容的正常请求 ÷ 所有正常请求 × 100%。数值越低，对正常业务的干扰越小。
- 检出率（True Positive Rate，TPR）：风险请求被准确识别为风险请求的比例。检出率 = 被准确识别为风险内容的风险请求 ÷ 所有风险请求 × 100%。数值越高，对真实风险的覆盖越充分。
不同调优目标对应的误报率和检出率区间是多少？
每个等级的调优目标都有对应的误报率和检出率区间，回归测试会根据策略的误报率和检出率自动判断策略是否符合调优目标。
回归测试未通过是什么意思？
回归测试会使用调优后的策略对已有样本进行自动验证，以确认策略的误报率和检出率是否落在所选调优目标对应的区间内。如果回归测试未通过，则说明策略未达到预期效果。
例如，当调优目标为标准时，误报率应小于等于 15%，检出率应大于等于 85%。如果回归测试结果显示误报率高于 15%，或检出率低于 85%，则说明当前策略尚未满足该目标要求，因此测试会失败。
回归测试未通过的原因可能包括：
- 您设置的访问控制规则会导致大量请求被自动放行或拦截。但在策略优化过程中，大模型会根据请求的实际内容进行独立判断，这可能导致一个被规则放行的请求被大模型识别为风险，或一个被拦截的请求被识别为正常。当这类判断冲突过多时，优化前后策略的检测结论就会出现大量不一致。
- 日志样本数量不足，导致回归测试无法准确评估策略的误报率和检出率。
最近更新时间：2026.09.09 21:10:03
这个页面对您有帮助吗？
有用
有用
无用
无用