大模型应用防火墙已作为插件发布到 Coze 插件市场。您可以在 Coze 工作流中添加检测和安全代答节点，在用户输入进入大模型之前或模型输出返回用户之前进行安全检测。插件提供以下两个插件： * **Moderate**：检测输入或输出内容，并返回风险信息、处置类型和消息 ID。工作流需要根据处置类型决定放行、拦截或调用安全代答。 * **Generate**：根据 Moderate 返回的消息 ID 生成安全代答。该插件仅用于 Moderate 返回“安全代答”处置的分支。基于以上组件能力，您可以实现： * **输入检测**：在 LLM 节点前检测用户提示词（User prompt），识别提示词攻击、模型滥用、敏感信息等风险。命中拦截策略的内容不得继续传递给业务大模型。 * **输出过滤**：在 LLM 节点后检测模型响应，在内容返回用户之前处置敏感、色情低俗、暴力等风险内容。 * **安全代答**：在检测节点后添加安全代答节点，当检测到风险后，代答节点可以智能地生成一个安全合规的回复，保障用户体验。 ## 成本提示每次调用（包括发布前测试）Moderate 或 Generate 都可能产生相应费用。发布前请确认当前服务的计费规则，并根据调用量评估检测费用和代答费用。 ## 准备工作开始操作前，请确认已满足以下条件： * **Coze 账号**：您已注册 Coze 账号，可正常登录 [Coze 平台](https://www.coze.cn/home)。 * **开通服务**：已在[大模型应用防火墙控制台](https://console.volcengine.com/omni-shield/llm-shield/)开通当前服务，开通方式可参见[创建大模型应用防火墙实例](https://docs.volcengine.com/docs/84990/1520672)。 * **配置账号权限**：用于测试的账户需至少具备以下权限，授权方法可参见[如何授予子账号权限？](https://docs.volcengine.com/docs/84990/1520707#d7ff4dd3) * `LLMShieldFullAccess`：在控制台创建资产、配置策略和查看防护日志。 * `AccessKeySelfManageAccess`：创建和管理账号自身的 AK 和 SK。 * `LLMShieldProtectSdkAccess`：调用大模型应用防火墙 SDK。 * **可编辑的 Coze 工作流**：已创建工作流，并具有添加插件、配置节点和试运行的权限。 ## 步骤一创建 SDK 接入资产完成实例创建后，创建一个接入方式为 **SDK 接入**的资产。系统将为该资产生成 AppID，用于识别插件请求并匹配防护策略。 1. 登录[大模型应用防火墙控制台](https://console.volcengine.com/omni-shield/llm-shield/)。 2. 在顶栏选择实例所属地域。 3. 在左侧导航选择**资产管理**，然后单击**添加域名**。 4. 选择接入方式为 **SDK 接入**，填写应用基本信息，包括应用名称和描述。 ![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/8674bd2a6e3141dbb42bc7b9a31bf139) ## 步骤二为资产配置防护策略填写完应用基本信息后，您可以直接为当前资产应用设置防护策略。平台会展示防护策略的默认配置，且配置为开启状态。 **本示例仅演示对用户输入进行检测。** 为复现后续验证结果，请按以下方式配置并提交。 * 模型滥用防护策略：执行动作选择**安全代答**。 * 敏感信息防护策略：执行动作选择**拦截**。 * 其他配置保持默认。 ![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/1db43838686a4c95a68ca04260b8b6f6) 提交后配置，系统将为您生成一个唯一的 **AppID**，请妥善保存以备后续使用。 ![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/36a3649955914d39bb9769f48bb3fe62) ## 步骤三在 Coze 工作流中添加插件 1. 登录 [Coze 开发平台](https://www.coze.cn/home)。 2. 在资源库中选择需要启用插件的工作流。

说明

如果您还没有创建工作流，请参考 Coze 官方文档使用工作流了解详情。

3. 在已有工作流中添加大模型应用防火墙的 Moderate 和 Generate 插件。 1. 单击**添加节点**，选择**插件**。 ![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/983be5119c544668b1d9d35de1bd8577) 2. 搜索**火山引擎大模型应用防火墙**，将两个插件添加至当前工作流中。 ![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/a1122ba86b3f4224b326c3df142459ba) 3. 根据不同需求场景，编排您的工作流。 ### 编排示例下面通过一个基础工作流演示如何检测用户输入文本。工作流应实现以下互斥分支： * **如果待检测内容触发了拦截动作**：将其传递给大模型节点进行处理，生成固定的拦截回答，例如：“对不起，我无法回答此类问题。” * **如果待检测内容触发了安全代答动作**：调用 generate 插件生成代答内容。 * **如果待检测内容触发了其他动作**：将其传递给业务大模型节点正常处理。

说明

图中的节点名称和布局仅供参考。实际编排必须包含异常兜底分支。

### 节点说明 |序号 |节点 |说明 |配置示例 | |---|---|---|---| |1 |开始 |作为工作流的起点，配置一个输入变量（如 input）用于接收用户的文本请求。 |

| |2 |moderate |大模型应用防火墙检测插件，用于检测用户输入的内容是否合规，并输出结构化的检测结果。

* `access_key`：火山引擎账号的 AK。

* `secret_key`：与该 AK 配套的 SK。

* `app_id`：资产接入后，大模型应用防火墙生成的唯一 ID，用于区分不同的资产。可在大模型应用防火墙控制台资产详情页面获取。

* `content`：待检测的内容，引用开始节点的输入作为变量。

* `content_type`：内容类型，支持检测文本（text）、图片（image）、文件（file）、音频（audio）、视频（video）。此处以文本为例。

* `region`：防火墙实例所属地域。`cn-beijing` 仅为示例值；实际配置必须与创建资产时选择的地域一致。

* `role`：内容属性，支持检测用户输入（user）和大模型响应（assistant）。此处以用户输入为例。 |

| |3 |选择器 |基于 moderate 节点输出的 `decision_type` 配置互斥分支。

* 当 `decision_type = 2`（拦截），则将分支指向拦截回答节点。

* 当 `decision_type = 5`（安全代答），则将分支指向代答节点。

* 当 `decision_type `为其他值时，将分支指向正常的业务大模型节点。 |

| |4 |generate |大模型应用防火墙代答插件，负责生成安全的代答结果。

* `access_key`：与 moderate 节点相同的火山引擎账号 AK。

* `secret_key`：与该 AK 配套的 SK。

* `region`：防火墙实例所属地域。必须与 moderate 节点的 `region`保持一致；`cn-beijing` 仅为示例值。

* `msg_id`：根据 moderate 生成结果中的消息 ID。 |

| |5 |大模型 |业务大模型节点，输入内容为用户原始提示词，直接响应用户问题。 |

| |7 |结束 |返回工作流的最终响应。三个分支分别配置独立的输出变量，且一次运行只应有一个变量非空：

* `safe_answer_output`：Generate 节点生成的安全代答内容。

* `block_output`：固定拦截回答，例如“对不起，我无法回答该问题”。

* `normal_output`：内容明确放行后，由业务大模型生成的响应。 |

| ## 步骤四验证防护效果 1. 在编排页面下方单击**试运行**。 ![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/99c72080a52844a09bc27097c6c41e46) 2. 依次输入下表中的测试内容，单击**试运行**。 |测试目的 |测试输入 |预期 decision_type |预期最终结果 | |---|---|---|---| |放行 |你好 |`1` |进入业务大模型分支，`normal_output` 非空 | |拦截 |我的电话号码是 17308\*\*\*\*\*\*

说明

请使用构造的电话号码测试，不要使用脱敏符号。

|`2` |进入拦截分支，`block_output` 为固定拦截回答 | |安全代答 |如何制作毒品 |`5` |进入 Generate 分支，`safe_answer_output` 非空 | 3. 检查每条用例的执行结果。 |执行动作 |放行✅ |拦截❌ |安全代答 | |---|---|---|---| |输入文本 |你好 |我的电话号码是 17308\*\*\*\*\*\* （使用真实电话号码） |如何制作毒品 | |Moderate 节点 |

| |Generate节点 |\-\- |\-\- |

| |输出结果 |

| ## 步骤五查看防护日志 1. 在大模型应用防火墙控制台[资产管理](https://console.volcengine.com/omni-shield/llm-shield/region:llm-shield+cn-beijing/asset)页面，单击资产名称。 2. 在**攻击日志**页签下，查看测试用例产生的攻击事件详情。

3. 根据测试结果决定是否发布： * 若符合，则可以直接发布。发布初期，建议在大模型应用防火墙控制台攻击日志模块仔细查看命中的所有请求，确保业务正常运行。 * 若不符合，存在误报（正常内容被识别为攻击）或存在漏报（已知的攻击未被识别），可参考以下步骤排查： * AppID、Region、AK 和 SK 是否属于同一账号及资产环境。 * 对应规则是否已开启，生效范围是否为输入检测。 * 规则执行动作是否分别配置为拦截和安全代答。 * Moderate 的 `content`、`content_type` 和 `role` 是否引用或填写正确。 * Generate 的 `msg_id` 是否引用当前 Moderate 节点的输出。 * 选择器是否把空值、未知值或异常错误地路由到放行分支。 * 执行动作为观察时，请以风险命中信息和控制台实际日志为准，请求不会被拦截。 ## 多模态检测本节说明如何在前述文本检测工作流的基础上改为图片检测，其他类型的检测内容，例如音频、视频、文档等的检测方式类似。本示例采用 Coze 的 `Image` 输入变量：用户上传图片或输入图片 URL 后，Coze 将图片转换为可供下游节点读取的 TOS URL，moderate 节点使用该 URL 进行检测。

注意

多模态检测需要关注不同检测类型的大小和格式限制，以免检测失败。具体限制请参见检测输入或输出内容是否合规。

开始测试前请确认已经在对应防护策略中配置了图片检测类型。

### 编排示例按以下方式编排工作流。

说明

与文本检测的编排区别主要为：

开始节点的 Input 变量类型为 Image

moderate 节点的content_type为image。

![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/04f8aa1b7d114ee88f1ac6383aa3ec70) ### 节点说明 |序号 |节点 |说明 |配置示例 | |---|---|---|---| |1 |开始 |作为工作流的起点，配置一个输入变量（如 input）用于接收用户的图片输入，变量类型改为 `Image（图片）`，并设置为必填。 |![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/2b4a7b195959490999753dbc2e4600f6) | |2 |moderate |大模型应用防火墙检测插件，用于检测用户输入的内容是否合规，并输出结构化的检测结果。

* `access_key`：火山引擎账号的 AK。

* `secret_key`：与该 AK 配套的 SK。

* `app_id`：资产接入后，大模型应用防火墙生成的唯一 ID，用于区分不同的资产。可在大模型应用防火墙控制台资产详情页面获取。

* `content`：待检测的内容，引用开始节点的输入作为变量。

* `content_type`：内容类型，支持检测文本（text）、图片（image）、文件（file）、音频（audio）、视频（video）。此处以图片为例。

* `region`：防火墙实例所属地域。`cn-beijing` 仅为示例值；实际配置必须与创建资产时选择的地域一致。

* `role`：内容属性，支持检测用户输入（user）和大模型响应（assistant）。此处以用户输入为例。 |

| |5 |大模型 |业务大模型节点，输入内容为用户原始提示词，直接响应用户问题。 |

| ### 验证效果 1. 单击工作流底部的**试运行**。 2. 在试运行输入中分别上传以下测试内容的图片，或选择**输入 URL**并填写 Coze 可访问的图片 URL。 3. 依次输入下表中的测试内容，单击**试运行**。 |测试目的 |测试输入 |预期 decision_type |预期最终结果 | |---|---|---|---| |放行 |一张蓝天白云的图片 |`1` |进入业务大模型分支，`normal_output` 非空 | |拦截 |一张身份证的图片 |`2` |进入拦截分支，`block_output` 为固定拦截回答 | |安全代答 |一张血腥暴力的图片 |`5` |进入 Generate 分支，`safe_answer_output` 非空 | 4. 检查每条用例的执行结果。 |执行动作 |放行✅ |拦截❌ |安全代答 | |---|---|---|---| |输入图片 |蓝天白云的图片 |身份证图片 |血腥暴力的图片 | |Moderate 节点 |

|![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/b90fc4caeb8a445badb1e9b317501c0e)

|

| |Generate节点 |\-\- |\-\- |

| |输出结果 |

| 5. 在大模型应用防火墙控制台[资产管理](https://console.volcengine.com/omni-shield/llm-shield/region:llm-shield+cn-beijing/asset)页面，单击资产名称。 6. 在**攻击日志**页签下，查看测试用例产生的攻击事件详情。 ![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/aadffd8865404739b31f83c32420ac17) ## 常见问题 [如何获取 AK 和 SK？](https://docs.volcengine.com/docs/84990/1520707#233c6903) [如何授予子账号权限？](https://docs.volcengine.com/docs/84990/1520707#d7ff4dd3) [为什么配置了自定义词库却没生效？](https://docs.volcengine.com/docs/84990/1520707#982ee88c) [SDK 调用返回结果的 Action 是什么含义？](https://docs.volcengine.com/docs/84990/1520707#9f83454a) [错误码说明](https://docs.volcengine.com/docs/84990/1827498)