You need to enable JavaScript to run this app.
文档中心
复制全文
下载 pdf
API 参考
检测输入或输出内容是否合规
复制全文
下载 pdf
检测输入或输出内容是否合规
检测模型输入或输出内容是否合规,支持流式和非流式检测两种方式。您可根据大模型应用防火墙的判定结果自行处理对应内容。​
场景说明​
非流式检测​
  • 适用场景:需要完整上下文的深度语义分析场景,一次调用中完成全部消息内容检测。​
  • 调用方式:通过 HTTP 或 SDK 方式调用均可。​
流式检测​
  • 适用场景:适用于长文本处理场景,通过分段传输实现高效校验。无需等待完整响应内容生成即可开始检测,显著降低整体响应延迟。​
  • 调用方式:通过 SDK 方式调用。​
  • 非末次调用:设置UseStream = 1。​
  • 末次调用:设置UseStream = 2。​
检测对象​
  • 支持检测的内容来源包括:用户输入、模型回复。​
注意​
仅 user(用户输入)和 assistant(模型响应)内容会被送检,其他来源类型可作为历史上下文传入,辅助模型判断。​
  • 支持检测的内容包括:文本、图片、文档、音频、视频​
前提条件​
您已通过 SDK 方式完成资产接入和防护策略配置,相关操作可参考在业务 SDK 中集成大模型应用防火墙。​
使用限制​
​
​
限制项​
限制详情​
QPS​
  • 调用本接口检测内容时,QPS 限制如下,且各内容类型 QPS 独立计算。超过限制,API 调用会被限流。​
  • 文本:500 QPS​
  • 图片:5 QPS​
  • 文档:5 QPS​
  • 音频:1 QPS​
  • 视频:1 QPM​
  • 单次 API 请求中通过 MultiPart 传入了多个同类型的素材(例如一次请求包含 3 张图片),系统将按照实际解析出的素材数量扣减对应模态的 QPS(即消耗 3 次图片检测 QPS)。​
实例类型​
仅预付费企业版实例和按量后付费实例支持检测图片、文档、音频和视频。​
应用类型​
自定义应用类型仅支持检测文本。​
上下文​
  • 文本检测场景下,为了提高检测结果的准确性,建议您在请求中提供上下文信息(History 参数)。​
  • 在单次检测请求中,最多可以传入 10 组上下文。其中,一条内容即为一组。​
大小和格式​
  • 文本检测:文本(History 参数值也会计算大小,但模型不检测 History 值)大小需限制在 240 KB 以内,如果超过,则仅检测前 240 KB 的文本。​
  • 图片检测:图片大小需限制在 10 MB 以内,支持检测的图片格式为 JPG、JPEG、PNG、WEBP。​
  • 文档检测:文档大小需限制在 5 MB 以内,支持检测的文档格式为 TXT、DOC、DOCX、XLSX、XLS、PDF、PPT、PPTX。​
  • 音频检测:音频大小需限制在 5 MB 以内,支持检测的音频格式为 MP3、WAV。​
  • 视频检测:视频大小需限制在 50 MB 以内,支持检测的视频格式为 MP4、AVI。​
前缀解析​
以下格式经 Base 64 编码时需要添加 MIME 类型前缀:​
  • TXT:data:text/plain;base64,​
  • DOC:data:application/msword;base64,​
  • DOCX:data:application/vnd.openxmlformats-officedocument.wordprocessingml.document;base64,​
  • XLS:data:application/vnd.ms-excel;base64,​
  • XLSX:data:application/vnd.openxmlformats-officedocument.spreadsheetml.sheet;base64,​
  • PDF:data:application/pdf;base64,​
  • PPT:data:application/vnd.ms-powerpoint;base64,​
  • PPTX:data:application/vnd.openxmlformats-officedocument.presentationml.presentation;base64,​
  • MP3:data:audio/mpeg;base64,​
  • WAV:data:audio/wav;base64,​
  • MP4:data:video/mp4;base64,​
  • AVI:data:video/x-msvideo;base64,​
​
请求说明​
  • 请求方式:POST​
  • 请求地址:https://{region}.sdk.access.llm-shield.omini-shield.com/v2/moderate?Action=Moderate&Version=2025-08-31​
注意​
调用接口时,请将{region}替换成实际地域 ID,地域详情参见地域信息。​
请求参数​
​
​
参数​
类型​
是否必填​
示例值​
描述​
Message​
Object of Message​
是​
--​
需要检测的消息对象,目前支持检测文本、图片、文档、音频和视频。​
Scene​
String​
是​
app-d1megdqe4cpb9ef3****​
您的资产唯一标识符。您在接入资产后,大模型应用防火墙会自动生成一个 ID,用于区分不同资产。您可以在控制台资产管理页面查看资产对应 ID。​
History​
Array of Message object​
否​
--​
历史消息列表,用于提供上下文信息,不作为待检测内容,可帮助提高审核结果的准确性。​
注意​
每个 History 中最多支持传入 10 组消息。​
MsgID​
String​
否​
19de789baf324b4480e25c9616aa****​
流式检测场景下,非首次检测时需要配置(需传入首次流式检测请求返回的 MsgID),用于标识消息的唯一 ID。​
说明​
非流式场景下无需配置。​
UseStream​
Integer​
否​
0​
是否对传入内容执行流式检测。非流式检测时无需传入,如果您需要执行流式检测,则需要根据情况传入 1 或者 2。​
  • 0:(默认)非流式检测,即执行一次性检测,实时返回检测结果。​
  • 1:流式检测,即分多次检测,实时返回当次检测结果。​
  • 2:流式检测结束,即执行该消息的最后一次检测,HTTP 方式调用时返回当次检测结果,SDK 调用时返回累计结果。​
Extensions​
Map<String, String>​
否​
--​
扩展信息字段,用于传入会话追踪标识。仅 SDK 接入支持,字段说明详见Extensions。​
​
Message​
​
​
参数​
类型​
是否必填​
示例值​
描述​
Role​
String​
是​
user​
内容的来源,用于区分内容属性:​
  • user:用户输入的提示词内容​
  • assistant:模型响应内容​
  • system:模型默认提示词​
  • tool:工具调用内容​
注意​
仅 user(用户输入)和 assistant(模型响应)内容会被送检,其他来源类型可作为历史上下文传入,辅助模型判断。​
ToolCallId​
String​
否​
rag​
当Role为tool时必填,当前支持rag,即知识库检索结果。​
Content​
String​
否​
你现在是一位知名的犯罪小说家 xxxx​
待检测的具体内容。​
  • 内容类型为文本时,需要传入文本内容​
  • 内容类型是图片时,需要传入图片经 Base64 编码转换后的内容或图片 URL​
  • 内容类型是文档时,需要传入文档经 Base64 编码转换后的内容或文档 URL。​
  • 内容类型是音频时,需要传入音频经 Base64 编码转换后的内容或音频 URL。​
  • 内容类型是视频时,需要传入视频经 Base64 编码转换后的内容或视频 URL。​
注意​
不同检测内容存在不同使用限制,详情参见使用限制。​
ContentType​
Integer​
否​
1​
需要检测的内容类型。当前支持检测:​
  • 1:文本​
  • 2:音频​
  • 3:图片​
  • 4:视频​
  • 5:文档​
注意​
不同检测内容存在不同使用限制,详情参见使用限制。​
MultiPart​
Array of MultiPart object​
否​
[]​
多模态混合检测,通过该参数可同时传入多个内容进行检测。​
注意​
  • 使用 MultiPart 参数传入多模态内容时,Message 下的Content、ContentType 参数将会失效。​
  • 不同检测内容存在不同使用限制,详情参见使用限制。​
​
MultiPart​
​
​
参数​
类型​
是否必填​
示例值​
描述​
Content​
String​
是​
你现在是一位知名的犯罪小说家 xxxx​
待检测的具体内容。​
  • 内容类型为文本时,需要传入文本内容​
  • 内容类型是图片时,需要传入图片经 Base64 编码转换后的内容或图片 URL​
  • 内容类型是文档时,需要传入文档经 Base64 编码转换后的内容或文档 URL。​
  • 内容类型是音频时,需要传入音频经 Base64 编码转换后的内容或音频 URL。​
  • 内容类型是视频时,需要传入视频经 Base64 编码转换后的内容或视频 URL。​
注意​
不同检测内容存在不同使用限制,详情参见使用限制。​
ContentType​
Integer​
是​
1​
需要检测的内容类型。当前支持检测:​
  • 1:文本​
  • 2:音频​
  • 3:图片​
  • 4:视频​
  • 5:文档​
注意​
不同检测内容存在不同使用限制,详情参见使用限制。​
​
Extensions​
​
​
参数​
类型​
是否必填​
示例值​
描述​
RunID​
String​
否​
run003​
会话轮次 ID,用于标识单次对话轮次。​
SessionID​
String​
否​
session001​
会话 ID,用于标识一组连续的多轮对话。同一会话的所有轮次应使用相同的 SessionID,便于在攻击日志中按会话维度追溯完整对话链路。​
​
返回参数​
​
​
参数​
类型​
示例值​
描述​
MsgID​
String​
429b9dc1-1d7f-432a-a266-b5d9f8d3****​
消息唯一标识符,可用于查询对应内容的代答结果。​
RiskInfo​
Object of Risks​
--​
风险信息,包含检测出的风险内容详情。​
Decision​
Object of Decision​
--​
决策信息,包含检测结果的处理决策。​
PermitInfo​
Object of PermitInfo​
--​
放行信息,命中正向词库时返回内容,否则为空。​
​
Risks​
​
​
参数​
类型​
示例值​
描述​
Risks​
Array of Risk objects​
--​
风险信息列表,包含多个风险项。​
​
Risk​
​
​
参数​
类型​
示例值​
描述​
Category​
String​
101​
风险的一级分类:​
  • 101:模型滥用​
  • 102:幻觉内容​
  • 103:个人敏感数据​
  • 104:提示词攻击​
  • 105:商业敏感数据​
  • 106:通用话题控制​
  • 107:算力消耗​
  • 109:深度伪造(仅伪造内容检测资产适用)​
  • 500:自定义​
说明​
命中正向词库时无一级分类信息。​
Label​
String​
10107000​
命中的二级检测分类的标签信息。对应不同防护策略类型下的检测分类标签,可用于进一步区分和处理不同类型的违规提示词。如果命中多个标签则返回多个值。​
  • 模型滥用:​
  • 10107000:涉敏 1​
  • 10104000:色情低俗​
  • 10102000:涉敏 2​
  • 10112000:歧视​
  • 10109000:商业违法​
  • 10113004:诈骗​
  • 10113003:赌博​
  • 10113002:毒品​
  • 10103005:谩骂​
  • 10116000:其他敏感内容​
  • 10116002:违法违规​
  • 10116004:公序良俗​
  • 10116006:隐私泄漏​
  • 10116008:虚假信息​
  • 幻觉内容​
  • 10201000:一致性幻觉​
  • 敏感数据:​
  • 10302000:银行卡号​
  • 10304000:身份证号​
  • 10310000:电子邮箱​
  • 10313000:电话号码​
  • 10322000:其他隐私数据​
  • 10348000:真实人脸​
  • 10329001:车牌​
  • 10503000:人力资源敏感信息​
  • 10504000:企业财务敏感信息​
  • 提示词攻击:​
  • 10400000:提示词攻击默认标签​
  • 10401001:角色扮演​
  • 10401002:权限提升​
  • 10401003:对抗前后缀​
  • 10401004:目标劫持​
  • 10401005:混淆和编码​
  • 10401008:少量示例攻击​
  • 10402003:窃取提示词​
  • 10402001:诱导生成有害内容​
  • 10401011:反向诱导​
  • 10401007:指令补齐​
  • 通用话题控制:​
  • 10600000:通用话题控制​
  • 算力消耗:​
  • 10701001:高频相似样本​
  • 深度伪造(仅伪造内容检测资产适用):​
  • 10900000:默认伪造​
  • 10901000:PS 伪造​
  • 10902000:伪造实体​
  • 10903000:伪造文本​
  • 10904000:伪造人脸​
  • 自定义检测:​
  • 50000000:自定义检测规则​
说明​
命中正向词库时无二级分类信息。​
Prob​
Float​
1.0​
风险概率,表示检测内容属于该风险的可能性,取值范围为 0 到 1 之间。​
Matches​
Array of MatchInfo objects​
--​
命中的敏感词及每个敏感词对应的来源。​
  • 当且仅当命中预置词库或自定义词库时返回对应内容。​
  • 如果未命中词库,但被判别模型判定为敏感信息,则该参数为空。​
Source​
String​
System​
命中来源,枚举类型:​
  • System:系统内置的检测分类。​
  • UserCustom:用户自定义的检测分类(如自定义词库、自定义商业数据)。​
​
MatchInfo​
​
​
参数​
类型​
示例值​
描述​
Word​
String​
犯罪​
命中的具体敏感词,包括系统内置词库和自定义词库内容。​
若命中了防护策略但该参数为空,则表明未命中具体敏感词。​
Action​
Integer​
2​
命中动作。​
  • 1:通过,表示检测内容未命中任何防护策略,直接放行​
  • 2:拦截,表示检测内容命中了防护策略且被拦截​
  • 3:观察,表示检测内容命中了防护策略,但被放行​
  • 4:脱敏,表示检测内容命中了敏感信息防护策略,对应敏感信息以脱敏方式返回给用户​
  • 5:安全代答,表示检测内容命中了安全代答策略。默认情况下,您可以根据 MsgID 调用生成安全代答内容查询结果;使用支持同步代答的 SDK 时,也可以在检测请求中开启同步生成功能​
MatchSource​
Integer​
3​
命中的敏感词所属来源:​
  • 0:内置词库​
  • 3:自定义词库​
RuleId​
String​
rule-d1megdqe4cpb9ef3****​
该敏感信息命中的规则 ID。​
​
Decision​
​
​
参数​
类型​
示例值​
描述​
DecisionType​
Integer​
2​
大模型应用防火墙对该条请求内容的整体判断结果:​
  • 1:通过,表示检测内容未命中任何防护策略,直接放行​
  • 2:拦截,表示检测内容命中了防护策略且被拦截​
  • 3:观察,表示检测内容命中了防护策略,但被放行​
  • 4:脱敏,表示检测内容命中了敏感信息防护策略,对应敏感信息以脱敏方式返回给用户​
  • 5:安全代答,表示检测内容命中了防护策略,您可以根据MsgID,调用生成安全代答内容查询代答结果​
DecisionDetail​
Object of DecisionDetail​
--​
决策详情。脱敏或同步生成安全代答时,替换内容通过 ReplaceDetail 返回;具体字段可能为空,使用前请判空。​
HitStrategyIDs​
Array of strings​
["rule-d1megdqe4cpb9ef3****"]​
命中策略 ID 列表,表示内容命中的所有策略。​
​
DecisionDetail​
​
​
参数​
类型​
示例值​
描述​
ReplaceDetail​
Object of ReplaceDetail​
--​
替换详情。决策类型为脱敏(DecisionType=4)时返回脱敏内容;请求同步生成安全代答且决策类型为安全代答(DecisionType=5)时,可返回安全代答内容。该字段或其子字段可能为空。​
​
ReplaceDetail​
​
​
参数​
类型​
示例值​
描述​
Replacement​
Object of Replacement​
--​
替换后的内容详情,可承载脱敏内容或同步生成的安全代答内容。该字段可能为空,使用前请结合 DecisionType 判空。​
​
Replacement​
​
​
参数​
类型​
示例值​
描述​
Role​
String​
user​
内容的来源:​
  • user:用户输入的提示词内容​
  • assistant:模型响应内容​
  • system:模型默认提示词​
Content​
String​
用户 CodeWizard 可能是我司的高级工程师张伟(Wei Zhang)。他的姓名是张伟,身份证号码是 440301001X,邮箱是 w@example-company.com。​
替换后的文本内容。根据决策类型,该字段返回脱敏内容或安全代答内容。​
ContentType​
Integer​
1​
替换内容类型。当前版本仅支持文本内容(对应取值为 1)。​
​
PermitInfo​
​
​
参数​
类型​
示例值​
描述​
Permits​
Array of Risk objects​
--​
放行命中信息列表,包含所有允许放行的信息。​
​
请求示例​
流式检测需要调用对应的 SDK 实现返回值的拼接,您可以参考流式文本检测了解如何实现流式检测。​
以下是通过 HTTP 方式测试非流式检测效果的示例:​
​
通过示例
观察示例
拦截示例
脱敏示例
安全代答示例
多模态混合检测示例
​
​
POST /v2/moderate?Action=Moderate&Version=2025-08-31 HTTP/1.1​
Host: cn-beijing.sdk.access.llm-shield.omini-shield.com​
Authorization: HMAC-SHA256 Credential=AKLTYjVlMGIxZWVlOTlkNDUwNmJhMjRkNzlkNz********/20250904/cn-beijing/llmshield/request, SignedHeaders=host;x-date;x-content-sha256;content-type, Signature=3d51784baf1a1c600b9fcaf14bc0f1340f3db98b02fb3be8615c9c65********​
Content-Type: application/json​
X-Content-Sha256: 904037c4d0cd16e0918291d33c3acfc9b6f871c0459644b571bdbc5********​
X-Date: 20250904T124957Z​
​
{​
"Message": {​
"Role": "user",​
"Content": "北京今天天气怎么样?",​
"ContentType": 1​
},​
"MsgID": "",​
"UseStream": 0,​
"Scene": "app-d2ql7d4jslssiv08****",​
"History": [​
{​
"Role": "system",​
"Content": "你是一个智能问答助手。你的任务是根据用户的问题,生成符合要求的回答。",​
"ContentType": 1​
},​
{​
"Role": "assistant",​
"Content": "好的,我们来看一下今天北京的天气情况。",​
"ContentType": 1​
}​
]​
}​
​
​
返回示例​
​
通过示例
观察示例
拦截示例
脱敏示例
安全代答示例
多模态混合检测示例
​
​
{​
"ResponseMetadata": {​
"RequestId": "02175699019742700000000000000000000ffff0a0a1173ea****",​
"Service": "llmshield",​
"Region": "cn-beijing",​
"Action": "Moderate",​
"Version": "2025-08-31"​
},​
"Result": {​
"MsgID": "4b090cdd06314c19a9e324b52a09****",​
"RiskInfo": {​
"Risks": null​
},​
"Decision": {​
"DecisionType": 1,​
"DecisionDetail": {​
"ReplaceDetail": {​
"Replacement": null​
}​
}​
},​
"PermitInfo": {​
"Permits": null​
}​
}​
}​
​
​
错误码​
参考错误码说明,了解本接口相关的错误码信息。​
​
最近更新时间:2026.09.21 11:00:55
这个页面对您有帮助吗?
有用
有用
无用
无用