高危操作检测用于在工具实际执行前，检测模型生成的 Tool Call 是否包含可能危害系统、网络或数据安全的操作。业务系统通过 SDK 调用 Moderate 接口送检工具名称和参数，并根据返回结果决定是否执行工具。

前提条件

实现流程

请求参数

字段	类型	说明
Scene	String	SDK 接入资产的 AppID。
Message	MessageV2	当前待检测的模型消息。
Message.Role	String	固定设置为 assistant，表示送检内容来自模型响应。
Message.Content	String	可以为空。高危操作检测主要根据 ToolCall 中的工具名称和参数判断风险。
Message.ContentType	ContentTypeV2	示例中设置为文本类型。
Message.ToolCall	Array of ToolCall	模型生成的待执行工具调用列表。必须在实际执行工具前送检。
Message.ToolCall[].ID	String	工具调用 ID，用于标识本次工具调用。
Message.ToolCall[].Type	String	工具类型，当前固定设置为 function。
Message.ToolCall[].Function	FunctionCall	待调用的工具或函数信息。
Message.ToolCall[].Function.Name	String	待调用的工具名称。
Message.ToolCall[].Function.Arguments	String	工具参数，必须使用 JSON 字符串格式传入。高危操作防护会结合工具名称和参数判断风险。

示例代码

请将以下示例中的服务地址、地域、资产 AppID、AK 和 SK 替换为实际值。服务地址和地域必须与大模型应用防火墙实例保持一致。

以下示例模拟模型调用 PowerShell 修改防火墙规则，并在工具执行前进行检测。

Go

Python

Java

返回结果处理

字段或状态	类型	处理建议
Result	ModerateV2Result	检测结果，包含风险信息、处置决策和降级状态。
Result.Degraded=true	Boolean	表示至少一项预期检测或后续处理未完整完成。不要仅根据 DecisionType=1 判断工具调用安全，应结合 Result.DegradeReason 制定处置策略。
Result.DegradeReason	String	返回原始降级原因，仅当 Result.Degraded=true 时可能有值。多个原因可能使用竖线（\|）分隔。
Result.Decision	DecisionV2	检测结果的整体处置决策。
Result.Decision.DecisionType=1	DecisionTypeV2	表示通过，可进入原有工具执行流程。
Result.Decision.DecisionType=2	DecisionTypeV2	表示拦截，可结合业务需要决定是否终止本次工具调用，禁止执行。
Result.Decision.DecisionType=3	DecisionTypeV2	表示命中观察规则但被放行，可继续处理，并建议保留命中记录用于策略调优。

使用限制