API 网关
API 网关
文档指南
请输入
- 文档首页
API 网关AI 网关AI 网关服务
复制全文
下载 pdfAI 网关服务
文档反馈
问问助手API 网关支持为部署在容器服务集群中的 AI 大模型，提供快速创建 AI 网关功能。本文介绍如何为部署在集群中的 AI 大模型创建 AI 网关。
背景信息
当您的 AI 大模型部署在容器服务集群中时，可以使用 AI 网关服务为 AI 大模型快速创建网关。系统会基于您的配置，自动创建服务、路由和 Upstream，实现了 AI 网关的一站式配置流程。在 AI 网关服务中，每个路由对应一个后端模型。典型应用场景，如下图所示。
前提条件
- 容器服务
- 已创建容器服务集群，并完成 AI 大模型和服务的部署。详情可参见 AI 云原生推理套件。
- API 网关
- 已创建 API 网关实例，详情请参见 创建实例。
- 已将目标集群添加为 Upstream 来源，详情请参见 导入容器集群。
操作步骤
- 登录 API 网关控制台。
- 在顶部导航栏，选择目标地域。
- 在左侧导航栏选择 AI 网关服务，单击 创建 AI 网关服务。
- 基本信息
-
- 配置项说明所属实例在下拉菜单中选择 AI 网关所属的 API 网关实例。访问域名配置 AI 网关使用的域名，包括：
- 使用已有：使用已创建服务的域名。当您选择该选项时，需要在弹出的下拉菜单中选择已创建的服务。
- 新建域名：新建一个新域名。当您选择该选项时，系统会自动生成一个新域名，新域名的名称为ai-service-xxxx，其中，xxxx为随机字符串。
AI 服务名称配置 AI 服务的名称，系统会使用该名称创建对应的路由。访问路径配置 AI 服务的访问路径，当前暂不支持配置，默认与 AI 服务器名称一致。例如当配置 AI 服务名称为seed时，配置完成后生成的大模型访问路径格式为 域名/seed。
- 后端服务
-
- 配置项说明后端服务选择 Upstream 对接的后端服务类型，默认为 AI 模型代理，暂不支持配置。模型类型在下拉菜单中选择需要代理的大语言模型类型，目前支持的大语言模型有火山自部署、OpenAI 兼容、方舟、月之暗面、通义千问、Anthropic。本文选择 火山自部署。协议选择协议类型，支持 HTTP1.1、HTTP2 和 HTTP2/GRPC。API 网关会自动聚合 Upstream 来源中所有集群下同名的命名空间、服务及端口，将其看作一个应用。
- 命名空间：选择目标 Kubernetes 服务所在的命名空间。
- 服务名称：选择目标 Kubernetes 服务名称。
- 端口：选择目标 Kubernetes 服务开放的端口。
- BaseUrl：配置后端模型对应的 URL 地址，对应 OpenAI 格式 SDK 中的 base_url。例如/v1。
说明当模型类型为 火山自部署 时，需进行配置。负载均衡算法配置负载均衡算法。- 轮询：（默认）将所有请求依次分发到 Kubernetes 服务关联的各个 Pod，适合 Pod 规格相同的场景。
- 随机：请求随机分配到各个 Pod。
- 最小连接数：将请求分配到目前处理请求数最少的 Pod。
- 一致性哈希：基于 header/querystring 信息进行负载均衡，在后端服务数量不变的情况下，确保携带信息相同的用户可固定访问同一 Pod。
说明当模型类型为 火山自部署 时，需进行配置。模型地址选择大语言模型后，系统会自动填充对应大语言模型的地址，请确认该地址正确。如有需要，支持修改模型地址。说明当模型类型非 火山自部署 时，需进行配置。模型 API Key配置大语言模型的 API Key，用于完成授权认证。说明当模型类型非 火山自部署 时，需进行配置。
- 单击 确定，完成配置。
其他配置
获取访问地址
在AI 网关服务列表中选择目标服务，单击 操作 列的访问方式，即可获得该 AI 网关服务的访问地址，包括 公网默认域名 和 自定义域名。
开启认证鉴权
- AI 网关服务创建完成后，在AI 网关服务列表中选择目标服务，单击服务名称，进入服务详情页面。
- 开启认证鉴权功能，并在弹出的配置页面中，使用 Key Auth 插件配置 API Key 认证鉴权。更多配置详情，请参见 API Key 认证鉴权。
-
结果验证
查看配置
- AI 网关服务创建完成后，允许在服务列表中查看对应的服务。
-
- AI 网关服务支持以下运维操作：
- 单击 操作 列的 编辑，支持编辑指定的 AI 网关服务。
- 单击 操作 列的 删除，支持删除指定的 AI 网关服务。
- 创建 AI 网关服务时，系统会同步创建对应的服务、路由和 Upstream。
- 在左侧导航栏选择 服务列表（域名），支持查看系统同步创建的服务。仅当创建 AI 网关服务，并选择 新建域名 时，才会同步创建服务并绑定新域名。
- 在左侧导航栏选择 路由列表，支持查看系统同步创建的路由。
- 在左侧导航栏选择 Upstream 列表，支持查看同步创建的 Upstream。
-
访问验证
在本地环境中，使用 AI 网关服务的域名，能够正常调用大模型并获取应答。
相关文档
- 除了部署在容器服务集群中的 AI 大模型，如果您想使用 AI 网关代理其他部署方式的大模型，可以直接使用 AI 多模型代理功能。详情请参见 AI 多模型代理。
- 在火山引擎容器服务中部署 AI 大模型的方法，请参见 AI 云原生推理套件。
最近更新时间：2026.08.10 18:00:14
这个页面对您有帮助吗？
有用
有用
无用
无用