You need to enable JavaScript to run this app.
文档中心
大模型应用防火墙

大模型应用防火墙

复制全文
下载 pdf
流量接入
配置流量接入参数
复制全文
下载 pdf
配置流量接入参数
如果您的业务未配置负载均衡,建议通过流量方式接入防护实例。在火山引擎网络应用防护平台配置防护域名参数和回源参数后,您只需要修改防护域名的 DNS 解析记录并放行平台的回源 IP 地址,即可完成域名的安全防护配置。​
兼容接口标准​
不同的大模型在接收用户输入和返回响应时,其 JSON 结构、参数名称、数据类型等可能存在差异。例如,OpenAI 的 API 可能使用 messages 数组来封装对话内容,而有些模型可能直接使用 prompt 字段。​
为确保大模型应用防火墙能正确解析您的业务流量,您需要根据所用的接口协议,选择对应的应用类型。​
大模型应用防火墙目前已兼容以下主流接口协议:​
  • OpenAI Chat Completions 兼容:这是一种基于消息流的“无状态”标准接口,适用于传统的聊天机器人、单次文本生成及简单的业务集成场景。支持的模型包括:支持模型包括:豆包 (Doubao)、OpenAI、DeepSeek (深度求索)、Qwen (通义千问)。​
  • OpenAI Responses API 兼容:一种为智能体 (Agent) 设计的“有状态”接口,原生支持云端记忆与工具调用闭环(如联网、读文件),更适合构建具备自主任务处理能力的复杂 AI 应用。支持的模型包括:豆包 (Doubao)、OpenAI。​
  • Qwen DashScope 模型:适用于阿里云通义千问 DashScope 的原生协议。​
  • 自定义类型:如果您的模型业务不属于上述任何一种应用类型,或需要进行更高级的自定义解析,建议通过导入 schema 的方式完成接入。相关配置说明请参考配置自定义应用类型。 ​
注意​
自定义应用类型仅支持检测文本内容。​
前提条件​
  • 待防护域名已备案,且未添加到防护平台,备案操作可参考备案流程概览。​
操作步骤​
  1. 在顶栏选择实例所属地域。​
  1. 在左侧导航选择资产管理,然后单击添加域名。​
  1. 选择接入方式为流量接入,并配置接入参数。​
  • ​​​
  • 应用基本信息:应用基本信息用于标识接入大模型应用防火墙的具体业务。​
  • ​
    参数​
    说明​
    示例​
    应用名称​
    您自定义的业务应用名称,用于在防火墙控制台区分不同的接入应用。​
    说明​
    • 以中文、字母或数字开头。​
    • 允许使用中文、字母、数字、点(.)、下划线(_)和中划线(-)。​
    • 长度为 1-100 个字符。​
    填写符合命名规范的名称,如智能问答平台、LLM客服机器人等。​
    描述​
    对该接入应用的补充说明。​
    可选填写,例如公司内部AI问答系统,基于DeepSeek部署。​
    ​
  • 网络配置:用于配置资产的域名、应用类型、路径等参数,以确保大模型应用防火墙能够准确识别和处理相关流量。 ​
  • ​
    参数​
    说明​
    示例​
    域名​
    填写需要接入防护的域名,支持泛域名或精准域名。域名须经过 ICP备案,未备案域名将无法正常添加。​
    说明​
    如需同时配置泛域名和域名主体本身,请分别配置。如:需要同时配置*.b.a.com和b.a.com,需要分别接入域名并配置策略。​
    www.myllm.com​
    应用类型​
    选择后端服务的接口协议标准,系统已预置主流大模型的兼容协议。​
    请从下拉菜单中选择:​
    • OpenAI Chat Completions 兼容:支持模型包括豆包 (Doubao)、OpenAI、DeepSeek (深度求索)、Qwen (通义千问)。​
    • OpenAI Responses API 兼容:支持模型包括豆包 (Doubao)、OpenAI。​
    • Qwen DashScope 模型:适用于阿里云通义千问 DashScope 原生协议。​
    • 自定义应用类型:如果您的大模型业务不属于以上适配的应用类型,或者您需要进行更高级的自定义解析,则建议通过导入 schema 来完成接入。自定义应用配置的相关说明请参考配置自定义应用类型。​
    注意​
    自定义应用类型仅支持检测文本内容。​
    • 自动适配:选择对应的应用类型即可。​
    • 自定义:选择自定义然后导入相关 schema 文件。​
    路径​
    • 客户端向大模型应用 API 发送请求时,URL 中除去域名和端口后的精确路径。一个大模型应用可能提供多个 API 接口(例如:/v1/chat/completions 用于对话,/v1/embeddings 用于生成向量)。​
    • 防火墙可以针对不同路径的 API 接口配置不同的防护策略,满足多样化的安全需求。​
    查阅您大模型 API 文档,填写具体路径。例如:/v1/chat/completions (OpenAI 兼容聊天接口)。​
    自定义送检内容​
    • 自定义送检内容用于指定大模型应用中需要指定的检测内容,即 Content 字段。​
    • 您的 Content 字段内可能包含了系统提示词和用户历史输入内容,配置自定义送检可以过滤非用户输入或历史内容,提升检测的准确性和效率。​
    • 支持通过前后缀匹配来定位需要送检的内容,当涉及多个相同的前后缀匹配内容时(例如多轮历史对话),您也可以设置仅送检匹配的第一条、最后一条或所有条目。​
    • 匹配前缀:最新用户输入为:​
    • 匹配后缀:请根据系统提示词和历史对话响应。​
    • 送检项:最后一项​
    请求方式​
    客户端向大模型应用 API 发送请求时使用的 HTTP 方法。​
    请查阅您的大模型服务 API 文档,明确请求方式。​
    提示词位置​
    • 如果请求方式为GET,直接填Query参数名。​
    • 如果请求方式为POST,使用 JQ 表达式指定大模型应用中用户输入(Prompt)在 HTTP 请求的 JSON 请求体中的具体位置,精确到具体的字段。​
    根据请求体的 JSON 结构填写 JQ 表达式。​
    • 示例 1: Prompt 在根部的 prompt 字段中:{"prompt": "...", ...} ,则填写:.prompt​
    • 示例 2: Prompt 在 messages 数组的 content 字段中(常见于对话类模型):{"messages": [{"role": "user", "content": "..."}], ...},则填写: '.messages[] | select(.role == "user") | .content'​
    响应位置​
    使用 JQ 表达式指定大模型生成内容(Response)在 HTTP 响应的 JSON 响应体中的具体位置,精确到具体的字段。​
    请注意分别配置流式响应和非流式响应的 JQ 表达式。​
    • 非流式响应示例:响应在 choices 数组的 message.content 字段中:{"choices": [{"message": {"content": "..."}}], ...},则填写: choices[].message.content​
    • 流式响应示例:流式响应通常以 data: 开头,后面跟着一个 JSON 片段,例如:data: {"choices": [{"delta": {"content": "..."}}], ...},则填写: choices[].delta.content​
    协议类型​
    需要接入大模型应用防火墙的网站所使用的通信协议,可选 HTTP、HTTPS 协议。​
    • 协议选择:勾选 HTTPS 协议后需要选择对应证书。​
    • 端口号配置:HTTP 协议默认支持 80 端口,HTTPS 默认支持 443 端口。​
    • 更多设置:​
    • HTTP 2.0:开启前需要勾选 HTTPS 协议类型,开启后支持 HTTP 2.0 协议接入防护,以 HTTP 1.0/1.1 协议转发回源。​
    可选 HTTP 或 HTTPS。推荐使用 HTTPS 以确保通信安全。​
    证书选择​
    选择 HTTPS 协议时,需要关联对应证书,确保客户端与防火墙之间的数据安全和身份验证。您可以直接在大模型应用防火墙控制台上传证书,也可以从火山引擎证书中心证书列表中选择已有的证书进行关联。​
    上传您域名对应的CRT或PEM格式的证书文件以及KEY或PEM格式的私钥文件。​
    ​
  • 源站配置:源站配置用于指定流量接入时的源站地址等相关信息,需根据实际业务需求准确填写。 ​
  • ​
    参数​
    说明​
    示例​
    源站协议​
    从大模型应用防火墙回源至源站的回源协议,支持 HTTP/HTTPS 回源。​
    注意​
    同一地域下不同源站的协议将全局保持一致。​
    HTTPS​
    自定义 Host Header​
    • 您可以指定防火墙在向后端大模型应用发送请求时,HTTP 请求头中的 Host 字段的值。​
    • 如果您的大模型应用后端是根据 Host 头来区分服务或路由请求的,或者您直接通过 IP 访问防火墙但希望防火墙以特定域名回源,就需要配置此项。​
    api.yourllm.com​
    源站配置​
    • 源站地址:需要接入大模型应用防火墙的网站所提供服务的源站 IP 地址。​
    • 源站端口:源站地址对应的端口。​
    说明​
    每个资产最多支持配置 20 个源站。​
    192.168.1.1:80​
    ​
  • 高级设置:高级设置参数用于控制大模型应用防火墙与后端机器学习平台之间的连接行为,如无特殊需要,保持默认值即可。​
  • ​
    参数名称​
    说明​
    默认值​
    可配置范围​
    建连超时时间​
    大模型应用防火墙和后端服务器建立连接的超时时间。​
    4 秒​
    4~120 秒​
    写超时时间​
    大模型应用防火墙将请求传输给后端服务器的超时时间。​
    60 秒​
    30~3600 秒​
    读超时时间​
    大模型应用防火墙从后端服务器读取响应的超时时间。​
    60 秒​
    30~3600 秒​
    最大回源重试次数​
    大模型应用防火墙回源失败后,可重试的次数。​
    3 次​
    1~10 次​
    长连接可复用个数​
    大模型应用防火墙回源长连接可复用个数。​
    100 个​
    60-1000 个​
    长连接空闲超时时间​
    大模型应用防火墙与后端服务器建立请求的长连接空闲时间。​
    15 秒​
    1~3600 秒​
    检测超时时间​
    大模型应用防火墙检测的超时时间。​
    3000 毫秒​
    100-10000 毫秒​
    ​
  1. 单击下一步。​
  • 页面会返回防护域名的大模型防护策略默认配置选项。你可以在此处快速配置,或者直接前往策略配置页面进行详细配置。​
  • ​​​
后续操作​
为确保 CNAME 方式接入的域名能被正常访问,您还需要进行以下操作:​
  1. 放行回源 IP 地址:如果源站配置了防火墙或是安装了安全软件,需要将大模型应用防火墙回源 IP 地址加白,避免影响业务流量转发回源。详情可参见放行回源 IP 地址。​
  1. 验证转发是否生效:确认转发规则是否生效,确保业务流量可经由大模型应用防火墙正常转发。详情可参见验证转发配置。​
  1. 修改 DNS 解析:将待防护域名解析到高防提供的 CNAME 地址(推荐)或高防 IP,实现流量牵引到高防实例。详情可参见修改 DNS 解析。​
最近更新时间:2026.07.23 17:12:24
这个页面对您有帮助吗?
有用
有用
无用
无用