大模型语义防护用于检查员工通过 AI 网站、客户端应用或模型 API 发送的提示词,识别提示词攻击,并按策略记录或拦截请求。
功能介绍
员工使用 AI 应用时,输入的内容可能包含诱导模型忽略原有规则、提升权限或泄露系统提示词的指令。管理员可以针对企业使用的 AI 应用和模型提供商设置防护规则,了解这些请求由谁发起、触发了哪类风险,以及是否需要阻止访问。
完成引流和 HTTPS 解密配置后,安全 Web 网关从经过网关的 AI 请求中提取提示词,识别其中的提示词攻击。策略支持观察或拦截:观察时允许访问并按配置记录日志;拦截时阻断命中防护内容的请求。当前语义检测针对用户输入,不检测模型输出。
需要核查具体对话时,可在策略中开启AI 会话内容审计,记录用户输入、模型响应和多轮会话内容。例如,发现一条权限提升风险日志后,可以查看相关对话,了解用户输入了什么以及模型如何响应。只需要统计访问和风险事件时,可关闭会话内容审计,日志仅保留时间、人员、应用、命中策略等信息。
前提条件
语义检测需要获取经过安全 Web 网关的 AI 请求内容。配置前,请按以下顺序完成授权、流量接入和解密准备。
- 开通安全 Web 网关授权,并为管理员授予对应功能的菜单及操作权限。
- 配置企业自签根证书、证书自动安装范围和引流策略,使目标流量经过安全 Web 网关。
- 客户端信任企业 CA 证书后,网关才能解密检查 HTTPS 流量。具体请参见配置引流策略中的首次配置准备及引流步骤。
- 配置 SSL 解密策略,将需要检查的 AI 应用或域名设为解密。
- 未解密的 HTTPS 流量只能进行基础的域名级识别或拦截,无法获取提示词正文执行语义检测,也无法提取相关 API 内容。具体请参见配置 SSL 解密策略。
- 进入安全 Web 网关 > AI 访问安全,在功能引导页单击开启 AI 访问安全。
-
新增语义防护策略
语义防护策略用于指定需要检查的 AI 应用或模型提供商、检测分类、处置方式和生效对象。完成策略配置后,匹配的访问行为会按规则记录或拦截,并生成对应审计日志。
说明
资产盘点依赖日志上报。需要尽可能完整地统计企业内使用的 AI 应用和模型时,可先配置一条覆盖全员的低优先级策略,选择全部 AI 应用与模型,处置方式设为观察 > 记录所有日志,防护内容留空。再针对高风险应用或特定人员配置高优先级策略,选择观察 > 仅记录触发防护内容的日志或拦截,并勾选需要检测的分类。高优先级策略记录的范围取决于其日志选项,资产统计也会随上报日志更新。
- 进入AI 安全 > 运行时安全 > 大模型语义防护。
-
- 在添加防护策略页面,完成以下配置,然后单击确定。
- 观察:员工可正常使用 AI,后台按所选日志方式记录访问时间、人员和风险类型;开启会话内容审计时,还会记录输入和响应正文。
- 拦截:员工发出的提示词命中防护内容后,请求会被阻断。浏览器或应用可能显示连接重置或飞连安全拦截页面。
- 进入审计日志页签,核查访问记录、命中策略和执行动作,必要时查看具体会话内容。
您也可以在安全 Web 网关 > AI 访问安全 > 策略配置 > 大模型语义护栏页面配置策略。
管理策略
在AI 安全 > 运行时安全 > 大模型语义防护 > 策略配置页面,可查看策略对应的 AI 应用和模型、生效对象、优先级以及创建和更新时间,并执行以下操作。
查看审计日志
需要核查员工使用了哪些 AI 网站或模型 API、输入触发了什么风险,以及策略是否按预期处理时,可查看语义防护的审计日志。日志分为AI 网站和大模型 API两类,分别记录应用对话与模型接口调用。
- 进入AI 安全 > 运行时安全 > 大模型语义防护,选择审计日志页签。
- 选择AI 网站或大模型 API,按触发时间、员工、设备、命中策略、处置动作和检测分类筛选记录。AI 网站还可按 AI 应用和请求内容筛选;大模型 API 可按模型来源类型、模型提供商、模型名称、本轮用户提示词及本轮工具调用筛选。
- 查看匹配记录,结合命中策略、检测分类和执行动作,核对请求为何被记录或拦截。
-
您也可以在安全 Web 网关 > AI 访问安全 > 防护日志页面,通过 AI 应用和大模型 API 对应页签查看这些日志。
查看日志详情和会话内容
单击目标日志操作列的查看详情,可结合请求信息、具体对话和员工设备信息,核查风险内容及其来源。
会话内容可能涉及业务数据。需要展开敏感内容时,单击查看敏感内容,再单击确认查看;若企业配置了管理员敏感操作二次认证,按提示完成验证后查看。
归档日志
对已完成审计或无需继续关注的记录,具有归档权限的管理员可在日志列表操作列单击归档,再单击确认归档。归档后的日志不再在列表和详情中展示,归档操作会记录在管理员审计日志中。