文档中心

大模型应用防火墙

API 参考

检测输入或输出内容是否合规

检测模型输入或输出内容是否合规，支持流式和非流式检测两种方式。您可根据大模型应用防火墙的判定结果自行处理对应内容。

场景说明

非流式检测

适用场景：需要完整上下文的深度语义分析场景，一次调用中完成全部消息内容检测。

调用方式：通过 HTTP 或 SDK 方式调用均可。

流式检测

适用场景：适用于长文本处理场景，通过分段传输实现高效校验。无需等待完整响应内容生成即可开始检测，显著降低整体响应延迟。

调用方式：通过 SDK 方式调用。

非末次调用：设置UseStream = 1。

末次调用：设置UseStream = 2。

检测对象

支持检测的内容来源包括：用户输入、模型回复，以及模型生成的工具调用。

注意

user（用户输入）和 assistant（模型响应）内容会被送检。检测模型生成的高危工具调用时，请将 Role 设置为 assistant，通过 ToolCall 传入工具调用信息，并在实际执行工具前调用本接口。

system（系统提示词）和 tool（工具返回内容）可作为历史上下文传入，辅助模型判断。当前 Role=tool 与 ToolCallID=rag 用于传入知识库检索结果，不表示已对工具执行后的返回内容启用高危操作防护。

支持检测的内容包括：文本、图片、文档、音频、视频

前提条件

您已通过 SDK 方式完成资产接入和防护策略配置，相关操作可参考在业务 SDK 中集成大模型应用防火墙。

使用限制

限制项	限制详情
QPS	调用本接口检测内容时，QPS 限制如下，且各内容类型 QPS 独立计算。超过限制，API 调用会被限流。文本：500 QPS 图片：5 QPS 文档：5 QPS 音频：1 QPS 视频：1 QPM 单次 API 请求中通过 MultiPart 传入了多个同类型的素材（例如一次请求包含 3 张图片），系统将按照实际解析出的素材数量扣减对应模态的 QPS（即消耗 3 次图片检测 QPS）。
实例类型	仅预付费企业版实例和按量后付费实例支持检测图片、文档、音频和视频。
应用类型	自定义应用类型仅支持检测文本。
上下文	文本检测场景下，为了提高检测结果的准确性，建议您在请求中提供上下文信息（History 参数）。在单次检测请求中，最多可以传入 10 组上下文。其中，一条内容即为一组。
大小和格式	文本检测：文本（History 参数值也会计算大小，但模型不检测 History 值）大小需限制在 240 KB 以内，如果超过，则仅检测前 240 KB 的文本。图片检测：图片大小需限制在 10 MB 以内，支持检测的图片格式为 JPG、JPEG、PNG、WEBP。文档检测：文档大小需限制在 5 MB 以内，支持检测的文档格式为 TXT、DOC、DOCX、XLSX、XLS、PDF、PPT、PPTX。音频检测：音频大小需限制在 5 MB 以内，支持检测的音频格式为 MP3、WAV。视频检测：视频大小需限制在 50 MB 以内，支持检测的视频格式为 MP4、AVI。
前缀解析	以下格式经 Base 64 编码时需要添加 MIME 类型前缀： TXT：data:text/plain;base64, DOC：data:application/msword;base64, DOCX：data:application/vnd.openxmlformats-officedocument.wordprocessingml.document;base64, XLS：data:application/vnd.ms-excel;base64, XLSX：data:application/vnd.openxmlformats-officedocument.spreadsheetml.sheet;base64, PDF：data:application/pdf;base64, PPT：data:application/vnd.ms-powerpoint;base64, PPTX：data:application/vnd.openxmlformats-officedocument.presentationml.presentation;base64, MP3：data:audio/mpeg;base64, WAV：data:audio/wav;base64, MP4：data:video/mp4;base64, AVI：data:video/x-msvideo;base64,

请求说明

请求方式：POST

请求地址：https://{region}.sdk.access.llm-shield.omini-shield.com/v2/moderate?Action=Moderate&Version=2025-08-31

注意

调用接口时，请将{region}替换成实际地域 ID，地域详情参见地域信息。

请求参数

参数	类型	是否必填	示例值	描述
Message	Object of Message	是	--	需要检测的消息对象，目前支持检测文本、图片、文档、音频和视频。
Scene	String	是	app-d1megdqe4cpb9ef3****	您的资产唯一标识符。您在接入资产后，大模型应用防火墙会自动生成一个 ID，用于区分不同资产。您可以在控制台资产管理页面查看资产对应 ID。
History	Array of Message object	否	--	历史消息列表，用于提供上下文信息，不作为待检测内容，可帮助提高审核结果的准确性。注意每个 History 中最多支持传入 10 组消息。
MsgID	String	否	19de789baf324b4480e25c9616aa****	流式检测场景下，非首次检测时需要配置（需传入首次流式检测请求返回的 MsgID），用于标识消息的唯一 ID。说明非流式场景下无需配置。
UseStream	Integer	否	0	是否对传入内容执行流式检测。非流式检测时无需传入，如果您需要执行流式检测，则需要根据情况传入 1 或者 2。 0：（默认）非流式检测，即执行一次性检测，实时返回检测结果。 1：流式检测，即分多次检测，实时返回当次检测结果。 2：流式检测结束，即执行该消息的最后一次检测，HTTP 方式调用时返回当次检测结果，SDK 调用时返回累计结果。
Extensions	Map<String, String>	否	{"run_id":"run_abcdef","session_id":"session_xyz","user_custom_info":"{\"IP\":\"1.1.1.1\",\"Username\":\"demouser\",\"UserAsset\":\"sourceDepart\"}"}	扩展信息字段，用于传入会话追踪标识。仅 SDK 接入支持，字段说明详见Extensions。
CallGenerateOnOptimize	Boolean	否	true	是否在审核结果为安全代答时同步生成代答内容，默认值为 false。 true：当 Decision.DecisionType 为 5 时，同步生成安全代答。生成成功后，通过 Decision.DecisionDetail.ReplaceDetail.Replacement 返回代答内容。 false 或不传：仅返回审核结果。如需获取安全代答，请根据 MsgID 调用生成安全代答内容接口。同步代答失败时，接口仍返回审核结果，并将 Degraded 设置为 true，通过 DegradeReason 返回降级原因。

Message

参数	类型	是否必填	示例值	描述
Role	String	是	user	内容的来源，用于区分内容属性： user：用户输入的提示词内容 assistant：模型响应内容 system：系统默认提示词 tool：知识库检索结果注意 user 和 assistant 内容会被送检。高危操作防护场景下，模型生成的 Tool Call 应设置 Role=assistant，并在工具执行前送检。 system 和 tool 内容可作为历史上下文传入。当前 Role=tool 不用于表示待执行的 Tool Call。
ToolCallID	String	否	rag	传入 RAG 工具返回的历史上下文时，将 Role 设置为 tool，并将该字段设置为 rag。该字段不用于提交待执行的工具调用。
Content	String	否	你现在是一位知名的犯罪小说家 xxxx	待检测的具体内容。内容类型为文本时，需要传入文本内容内容类型是图片时，需要传入图片经 Base64 编码转换后的内容或图片 URL 内容类型是文档时，需要传入文档经 Base64 编码转换后的内容或文档 URL。内容类型是音频时，需要传入音频经 Base64 编码转换后的内容或音频 URL。内容类型是视频时，需要传入视频经 Base64 编码转换后的内容或视频 URL。注意不同检测内容存在不同使用限制，详情参见使用限制。
ContentType	Integer	否	1	需要检测的内容类型。当前支持检测： 1：文本 2：音频 3：图片 4：视频 5：文档注意不同检测内容存在不同使用限制，详情参见使用限制。
MultiPart	Array of MultiPart object	否	[]	多模态混合检测，通过该参数可同时传入多个内容进行检测。注意使用 MultiPart 参数传入多模态内容时，Message 下的Content、ContentType 参数将会失效。不同检测内容存在不同使用限制，详情参见使用限制。
ToolCall	Array of ToolCall objects	条件必填	--	高危操作检测场景下需要填写。工具调用列表，对应经典 OpenAI 兼容协议模型响应中的 tool_calls。使用工具调用检测时必填，且不能为空数组。检测模型发起的工具调用时，将 Role 设置为 assistant，并在真实执行工具前通过该参数传入工具调用信息。大模型应用防火墙会将每个工具的函数名和函数参数作为文本进行检测。

Message 中的内容参数按以下规则组合：

单一内容检测：传入 Content 和对应的 ContentType。

多模态混合检测：传入非空的 MultiPart。传入该参数后，Content 和 ContentType 不生效。

工具调用检测：将 Role 设置为 assistant、ContentType 设置为 1，并传入非空的 ToolCall。每个工具调用均需传入 Type 和 Function；Function 中需传入 Name 和 Arguments。上游返回工具调用 ID 时，同时传入 ID。

每个 Message 至少需要按上述一种方式传入待检测内容，不要传入空的 Message。

ToolCall

参数	类型	是否必填	示例值	描述
ID	String	否	call_001	工具调用 ID，用于标识本次工具调用。
Type	String	否	function	工具调用类型。函数调用时设置为 function。
Function	Object of Function	否	--	待调用的函数信息。为保证高危操作检测有效，请提供该对象及其 Name、Arguments 字段。

Function

参数	类型	是否必填	示例值	描述
Name	String	是	exec_command	工具的真实名称。
Arguments	String	是	{"command":"chmod 777 /srv/app/config"}	工具对应参数。需传入 JSON 字符串。标准 OpenAI 兼容模型返回的 function.arguments 通常可以直接透传，无需再次序列化；上游以 JSON 对象等其他形式返回时，需要先序列化为 JSON 字符串。工具检查会检测该字段。

注意

应在真实工具执行前送检 ToolCall。业务应根据 Decision.DecisionType 处置工具调用：值为 1 时允许执行；值为 2 时禁止执行；调用方仍应根据自身风险控制要求决定是否执行。返回其他决策类型、Degraded=true、请求异常或结果不完整时，按照业务预先设定的降级策略处理，不要在未判定风险的情况下直接执行高风险工具调用。

MultiPart

参数	类型	是否必填	示例值	描述
Content	String	是	你现在是一位知名的犯罪小说家 xxxx	待检测的具体内容。内容类型为文本时，需要传入文本内容内容类型是图片时，需要传入图片经 Base64 编码转换后的内容或图片 URL 内容类型是文档时，需要传入文档经 Base64 编码转换后的内容或文档 URL。内容类型是音频时，需要传入音频经 Base64 编码转换后的内容或音频 URL。内容类型是视频时，需要传入视频经 Base64 编码转换后的内容或视频 URL。注意不同检测内容存在不同使用限制，详情参见使用限制。
ContentType	Integer	是	1	需要检测的内容类型。当前支持检测： 1：文本 2：音频 3：图片 4：视频 5：文档注意不同检测内容存在不同使用限制，详情参见使用限制。

Extensions

参数	类型	是否必填	示例值	描述
run_id	String	否	run_abcdef	会话轮次 ID，用于标识单次对话轮次。
session_id	String	否	session_xyz	会话 ID，用于标识一组连续的多轮对话。同一会话的所有轮次应使用相同的 session_id，便于在大模型防护日志中按会话维度追溯完整对话链路。
user_custom_info	String	否	{\"IP\":\"1.1.1.1\",\"Username\":\"demouser\",\"UserAsset\":\"sourceDepart\"}	用户自定义信息。该字段的值为 JSON 序列化后的字符串，可包含用户 IP、用户名和用户资产。传入后，大模型防护日志中将展示对应信息，便于定位请求来源和归属。字符串中的 JSON 对象字段详见下方 UserCustomInfo 参数说明。设置 user_custom_info 时，IP、Username 至少需配置一个。如果不需要设置 IP、Username 或 UserAsset，请勿传入 user_custom_info 字段。

UserCustomInfo

参数	类型	是否必填	示例值	描述
IP	String	否	192.168.1.1	发起请求的用户 IP 地址。传入后将在大模型防护日志中展示，便于定位请求来源和进行访问溯源。
Username	String	否	demouser	发起请求的用户名或用户标识。传入后将在大模型防护日志中展示，便于关联具体用户身份和行为。字符长度：1～128。
UserAsset	String	否	sourceDepart	关联的用户资产标识。传入后将在大模型防护日志中展示，便于识别资产归属。字符长度：1～128。

返回参数

参数	类型	示例值	描述
MsgID	String	429b9dc1-1d7f-432a-a266-b5d9f8d3****	消息唯一标识符，可用于查询对应内容的代答结果。
RiskInfo	Object of Risks	--	风险信息，包含检测出的风险内容详情。
Decision	Object of Decision	--	决策信息，包含检测结果的处理决策。
PermitInfo	Object of PermitInfo	--	放行信息，命中执行动作为放行的自定义防护规则时返回内容，否则为空。
Degraded	Boolean	false	本次请求是否发生降级。false 表示请求级处理未标记为降级；true 表示至少一项预期检测或后续处理未完整完成。发生降级时，不应仅根据 Decision 中的 PASS 判断内容安全，应结合 DegradeReason 处理。
DegradeReason	String	SYS-TimeoutOrCancel	原始降级原因。仅当 Degraded=true 时可能返回；多个原因可能使用 \\| 连接。该字段不是固定枚举，除标准原因码外，还可能返回预处理错误或下游错误信息。常见原因及处理建议请参见错误码说明。

Risks

参数	类型	示例值	描述
Risks	Array of Risk objects	--	风险信息列表，包含多个风险项。

Risk

参数	类型	示例值	描述
Category	String	101	风险的一级分类： 101：模型滥用 102：幻觉内容 103：个人敏感数据 104：提示词攻击 105：商业敏感数据 106：通用话题控制 107：算力消耗 108：高危操作 109：深度伪造（仅伪造内容检测资产适用） 500：自定义
Label	String	10107000	命中的二级检测分类标签。对应不同防护策略类型下的检测分类，可用于进一步区分和处理不同类型的风险。如果命中多个标签则返回多个值。模型滥用： 10107000：涉敏 1 10104000：色情低俗 10102000：涉敏 2 10112000：歧视 10109000：商业违法 10113004：诈骗 10113003：赌博 10113002：毒品 10103005：谩骂 10116000：其他敏感内容 10116002：违法违规 10116004：公序良俗 10116006：隐私泄漏 10116008：虚假信息 10118001：知名IP-动漫形象 10118002：知名IP-影视形象 10118003：知名IP-游戏形象 10118004：知名IP-品牌形象幻觉内容 10201000：一致性幻觉敏感数据： 10302000：银行卡号 10304000：身份证号 10310000：电子邮箱 10313000：电话号码 10322000：其他隐私数据 10348000：真实人脸 10329001：车牌 10503000：人力资源敏感信息 10504000：企业财务敏感信息提示词攻击： 10400000：提示词攻击默认标签 10401001：角色扮演 10401002：权限提升 10401003：对抗前后缀 10401004：目标劫持 10401005：混淆和编码 10401007：指令补齐 10401008：少量示例攻击 10401011：反向诱导 10402001：诱导生成有害内容 10402003：窃取提示词通用话题控制： 10600000：通用话题控制算力消耗： 10701001：高频相似样本高危操作： 10801000：文件删除与系统破坏 10801001：系统控制与关机重启 10801002：修改权限 10801003：远程代码下载执行 10801004：反向连接与远程控制 10801005：用户与权限管理 10801006：批量执行与自动化破坏 10801007：禁用安全插件 10801008：公网暴露 10801009：内网扫描 10801010：持久化 10801011：数据外传深度伪造（仅伪造内容检测资产适用）： 10900000：默认伪造 10901000：PS 伪造 10902000：伪造实体 10903000：伪造文本 10904000：伪造人脸自定义检测： 50000000：自定义检测规则说明命中正向词库时无二级分类信息。
Prob	Float	1.0	风险概率，表示检测内容属于该风险的可能性，取值范围为 0 到 1 之间。
Matches	Array of MatchInfo objects	--	命中的敏感词及每个敏感词对应的来源。当且仅当命中预置词库或自定义词库时返回对应内容。如果未命中词库，但被判别模型判定为敏感信息，则该参数为空。
Source	String	System	命中来源，枚举类型： System：系统内置的检测分类。 UserCustom：用户自定义的检测分类（如自定义词库、自定义商业数据）。

MatchInfo

参数	类型	示例值	描述
Word	String	犯罪	命中的具体敏感词，包括系统内置词库和自定义词库内容。若命中了防护策略但该参数为空，则表明未命中具体敏感词。
Action	Integer	2	命中动作。 1：通过，表示检测内容未命中任何防护策略，直接放行 2：拦截，表示检测内容命中了防护策略且被拦截 3：观察，表示检测内容命中了防护策略，但被放行 4：脱敏，表示检测内容命中了敏感信息防护策略，对应敏感信息以脱敏方式返回给用户 5：安全代答，表示检测内容命中了安全代答策略。默认情况下，您可以根据 MsgID 调用生成安全代答内容查询结果；使用支持同步代答的 SDK 时，也可以在检测请求中开启同步生成功能
MatchSource	Integer	3	命中的敏感词所属来源： 0：内置词库 3：自定义词库
RuleId	String	rule-d1megdqe4cpb9ef3****	命中自定义词库时生效，返回对应的词库 ID。

Decision

参数	类型	示例值	描述
DecisionType	Integer	2	大模型应用防火墙对该条请求内容的整体判断结果： 1：通过，表示检测内容未命中任何防护策略，直接放行 2：拦截，表示检测内容命中了防护策略且被拦截 3：观察，表示检测内容命中了防护策略，但被放行 4：脱敏，表示检测内容命中了敏感信息防护策略，对应敏感信息以脱敏方式返回给用户 5：安全代答，表示检测内容命中了防护策略，您可以根据MsgID，调用生成安全代答内容查询代答结果
DecisionDetail	Object of DecisionDetail	--	决策详情。脱敏或同步生成安全代答时，替换内容通过 ReplaceDetail 返回；具体字段可能为空，使用前请判空。
HitStrategyIDs	Array of strings	["rule-d1megdqe4cpb9ef3****"]	命中策略 ID 列表，表示内容命中的所有策略。

DecisionDetail

参数	类型	示例值	描述
ReplaceDetail	Object of ReplaceDetail	--	替换详情。决策类型为脱敏（DecisionType=4）时返回脱敏内容；请求同步生成安全代答且决策类型为安全代答（DecisionType=5）时，可返回安全代答内容。该字段或其子字段可能为空。

ReplaceDetail

参数	类型	示例值	描述
Replacement	Object of Replacement	--	替换后的内容详情，可承载脱敏内容或同步生成的安全代答内容。该字段可能为空，使用前请结合 DecisionType 判空。

Replacement

参数	类型	示例值	描述
Role	String	user	内容的来源： user：用户输入的提示词内容 assistant：模型响应内容 system：模型默认提示词
Content	String	用户 CodeWizard 可能是我司的高级工程师张伟（Wei Zhang）。他的姓名是张伟，身份证号码是 440301001X，邮箱是 w@example-company.com。	替换后的文本。DecisionType=4 时为脱敏后的内容；DecisionType=5 且同步代答成功时为安全代答内容。
ContentType	Integer	1	替换内容类型。当前版本仅支持文本内容（对应取值为 1）。

PermitInfo

参数	类型	示例值	描述
Permits	Array of Risk objects	--	放行命中信息列表，包含所有允许放行的信息。

请求示例

流式检测需要调用对应的 SDK 实现返回值的拼接，您可以参考流式文本检测了解如何实现流式检测。

以下是通过 HTTP 方式测试非流式检测效果的示例：

通过示例

观察示例

拦截示例

脱敏示例

安全代答示例

多模态混合检测示例

工具调用检查示例

扩展信息传入示例

返回示例

通过示例

观察示例

拦截示例

脱敏示例

安全代答示例

多模态混合检测示例

工具调用检查示例

扩展信息传入示例

前提条件：相关策略的执行动作为脱敏。

错误码

参考错误码说明，了解本接口相关的错误码信息。

最近更新时间：2026.10.29 14:55:54

这个页面对您有帮助吗？

有用

无用