You need to enable JavaScript to run this app.
文档中心
大模型应用防火墙

大模型应用防火墙

复制全文
下载 pdf
模型接入
配置模型接入参数
复制全文
下载 pdf
配置模型接入参数
大模型应用防火墙可以根据不同的模型平台类型,结合 API Key 和访问域名、源站配置等信息,与客户端和您的后端服务器进行流量通信,并对流量进行检测,确保业务安全稳定运行。 本文主要介绍如何配置不同模型的接入参数。​
前提条件​
您已获取相关模型服务的域名和 API Key,相关操作请参见获取模型服务域名和 API Key。​
注意事项​
API Key 需符合Authorization: Bearer <API Key>样式,否则会导致鉴权失败,流量无法通过。​
操作步骤​
  1. 在顶栏选择实例所属地域。​
  1. 在左侧导航选择资产管理,然后单击添加资产。​
  1. 选择接入方式为模型服务接入,并配置相关参数信息。​
  • ​​​
  • 应用信息:应用基本信息用于标识接入大模型应用防火墙的具体业务。​
  • ​
    参数​
    说明​
    应用名称​
    您自定义的业务应用名称,用于在防火墙控制台区分不同的接入应用。​
    说明​
    • 以中文、字母或数字开头。​
    • 允许使用中文、字母、数字、点(.)、下划线(_)和中划线(-)。​
    • 长度为 1-100 个字符。
    描述​
    对该接入应用的补充说明。​
    ​
  • 模型配置:模型配置参数决定了大模型应用防火墙如何准确地识别和提取请求中的提示词和响应中的大模型输出,是进行深度内容安全检测的基础。根据模型类型不同,这些参数的具体设置也会有所差异。具体如下:​
  • ​
    机器学习平台
    方舟平台
    其他模型服务
    ​
    • 模型服务域名:输入您提前获取的机器学习平台服务域名。例如获取的机器学习平台公网访问地址为https://scv8****.apigateway-cn-shanghai.volceapi.com/mlp/s-20250311190045-rbjcf/,则填入scv8****.apigateway-cn-shanghai.volceapi.com。获取方式请参考获取机器学习平台服务域名。​
    • 防护域名:平台自动生成防护域名,业务请求将被牵引至该域名下进行检测,检测后的数据会被转发至机器学习平台处理。您需要将原有访问域名替换为大模型应用防火墙提供的防护域名,将业务流量牵引至大模型应用防火墙进行防护。​
    • 自定义防护路径:根据模型类型配置对应的防护路径,确保请求能够准确地被引导至相应的防护机制下进行处理。​
    • 类型:选择后端服务的接口协议标准,系统已预置主流大模型的兼容协议。不同的主流大模型在接收用户输入和返回响应时,其 JSON 结构、参数名称、数据类型等可能存在差异。例如,OpenAI 的 API 可能使用 messages 数组来封装对话内容,而其他模型可能直接使用 prompt 字段。请从下拉菜单中选择:​
    • OpenAI Chat Completions 兼容:适用于标准的对话接口。支持模型包括:豆包 (Doubao)、OpenAI、DeepSeek (深度求索)、Qwen (通义千问)。​
    • OpenAI Responses API 兼容:适用于标准的响应接口。支持模型包括:豆包 (Doubao)、OpenAI。​
    • Qwen DashScope 模型:适用于阿里云通义千问 DashScope 原生协议。​
    • 自定义应用类型:如果您的大模型业务不属于以上适配的应用类型,或者您需要进行更高级的自定义解析,则需要选择自定义应用类型,并且导入 schema 来完成接入。自定义应用配置的相关说明请参考配置自定义应用类型。​
    注意​
    自定义应用类型仅支持检测文本内容。​
    • 路径:将公网访问地址的路径部分与 API 请求路径拼接后填写。​
    • 例如公网访问地址为https://scv8****.apigateway-cn-shanghai.volceapi.com/mlp/s-20250311190045-rbjcf,API 请求路径为/v1/chat/completions,则填写/mlp/s-20250311190045-rbjcf/v1/chat/completions。​
    • 一个大模型应用可能提供多个 API 接口(例如:/v1/chat/completions 用于对话,/v1/embeddings 用于生成向量)。防火墙可以针对不同路径的 API 接口配置不同的防护策略,满足多样化的安全需求。​
    • 自定义送检内容:​
    • 自定义送检内容用于指定大模型应用中需要指定的检测内容,即 Content 字段。​
    • 您的 Content 字段内可能包含了系统提示词和用户历史输入内容,配置自定义送检可以过滤非用户输入或历史内容,提升检测的准确性和效率。​
    • 支持通过前后缀匹配来定位需要送检的内容,当涉及多个相同的前后缀匹配内容时(例如多轮历史对话),您也可以设置仅送检匹配的第一条、最后一条或所有条目。​
    ​
  • 源站配置:源站配置参数用于控制大模型应用防火墙与后端机器学习平台之间的连接行为,如无特殊需要,保持默认值即可。​
  • ​
    参数名称​
    说明​
    默认值​
    可配置范围​
    建连超时时间​
    大模型应用防火墙和后端服务器建立连接的超时时间。​
    4 秒​
    4~120 秒​
    写超时时间​
    大模型应用防火墙将请求传输给后端服务器的超时时间。​
    60 秒​
    30~3600 秒​
    读超时时间​
    大模型应用防火墙从后端服务器读取响应的超时时间。​
    60 秒​
    30~3600 秒​
    最大回源重试次数​
    大模型应用防火墙回源失败后,可重试的次数。​
    3 次​
    1~10 次​
    长连接可复用个数​
    大模型应用防火墙回源长连接可复用个数。​
    100 个​
    60-1000 个​
    长连接空闲超时时间​
    大模型应用防火墙与后端服务器建立请求的长连接空闲时间。​
    15 秒​
    1~3600 秒​
    检测超时时间​
    大模型应用防火墙检测的超时时间。​
    3000 毫秒​
    100-10000 毫秒​
    ​
  1. 单击下一步。​
  • 页面会返回防护域名的大模型防护策略默认配置选项。你可以在此处快速配置,或者直接前往策略配置页面进行详细配置。​
  • ​​​
后续操作​
完成配置后,您需要将原有模型业务的访问域名替换为大模型应用防火墙提供的防护域名,将业务流量牵引至大模型应用防火墙进行防护。​
说明​
替换域名时,需要将原请求路径保持不变。例如,如果您接入前的请求路径为模型服务域名/api/v3/bots,接入后需要替换为大模型应用防火墙提供的防护域名/api/v3/bots。​
以下提供两种模型服务的 Python SDK 配置示例,您可以根据实际应用的模型服务类型和调用方式修改对应的域名。​
以火山引擎方舟 Python SDK 为例​
接入大模型应用防火墙前​
​
import os​
from volcenginesdkarkruntime import Ark​
​
client = Ark(​
api_key=os.environ.get("ARK_API_KEY"), # 方舟的 API Key​
base_url="https://ark.cn-beijing.volces.com/api/v3",)​
​
接入大模型应用防火墙后​
​
import os​
from volcenginesdkarkruntime import Ark​
​
client = Ark(​
api_key=os.environ.get("ARK_API_KEY"), # 方舟的 API Key​
base_url="https://a00d4f9ab2dbc92d564ed6644cdb****.access.omni-shield.volces.com/api/v3",)​
​
​
以阿里云百炼平台 OpenAI Python SDK 为例​
接入大模型应用防火墙前​
​
import os​
from openai import OpenAI​
​
try:​
client = OpenAI(​
api_key=os.getenv("DASHSCOPE_API_KEY"), # 百炼的 API key​
base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",)​
​
​
接入大模型应用防火墙后​
​
import os​
from openai import OpenAI​
​
try:​
client = OpenAI(​
api_key=os.getenv("DASHSCOPE_API_KEY"), # 百炼的 API key​
base_url="https://a00d4f9ab2dbc92d564ed6644cdb****.access.omni-shield.volces.com/compatible-mode/v1",) ​
​
​
​
最近更新时间:2026.04.27 19:34:10
这个页面对您有帮助吗?
有用
有用
无用
无用