持续交付
持续交付
文档指南
请输入
- 文档首页
持续交付用户指南AI 应用创建和部署 AI 应用（自定义创建）
复制全文
下载 pdf创建和部署 AI 应用（自定义创建）
文档反馈
问问助手AI 应用是针对大模型在线推理场景推出的一站式开发部署运维平台。自定义创建为用户提供了相对灵活的 AI 应用创建方式，通过指定镜像、模型、代码、启动命令和三方库的方式来部署 AI 大模型，能够适配用户的绝大多数自定义场景。本文为您介绍如何通过自定义创建方式部署 AI 应用。
前提条件
- 容器服务 VKE
- 已创建 VKE 集群，具体操作可参见 创建集群。
- （可选）如需挂载对象存储 TOS，请提前安装 csi-tos 组件。具体操作请参见 安装组件。
- （可选）如需以弹性容器实例方式部署，仅适用于网络模型为 VPC-CNI 的 VKE 集群，且集群中需提前安装 vci-virtual-kubelet 组件。具体操作请参见 安装组件。
- （可选）如需使用 GPU 资源，请提前安装 nvidia-device-plugin 组件。具体操作请参见 安装组件。
- （可选）如需挂载配置项（ConfigMap），请提前在 VKE 集群的待部署命名空间下创建配置项。具体操作请参见 创建配置项。
- 持续交付 CP
- 已接入部署资源。部署资源必须为容器服务 VKE 集群。具体操作请参见 接入部署资源。
- 已获得训练好的模型。
- （可选）如需使用自定义镜像，请提前准备镜像地址，或将镜像上传至火山引擎镜像仓库。具体操作请参见 推送和拉取镜像快速入门。
- （可选）如需挂载模型文件，请完成以下准备工作，任选一种存储即可。
- 对象存储 TOS
- 已将模型上传至 TOS Bucket 存储。具体操作请参见 对象存储快速入门。
- 已获取当前账号的访问密钥 AK & SK。建议使用最小化授权的 IAM 用户的访问密钥，要求已授权对应文件的访问权限。
- 文件存储 NAS
- 已将模型上传至 NAS 存储，要求 NAS 与待部署的 VKE 集群处于相同的 VPC。具体操作请参见 文件存储快速入门。
- 制品仓库
- 已将模型上传至制品仓库存储。具体操作请参见 上传和下载 AI 格式制品快速入门。
- 已获取当前账号的访问密钥 AK & SK。建议使用最小化授权的 IAM 用户的访问密钥，要求该 IAM 用户已授权仓库挂载权限。
- （可选）如需配置外部访问方式，请完成以下准备工作，任选一种方式即可。
- API 网关：已创建网关实例，要求网关实例与待部署的 VKE 集群处于相同的 VPC。具体操作请参见 创建实例。
- 负载均衡 CLB：已创建负载均衡实例，要求负载均衡实例与待部署的 VKE 集群处于相同的 VPC。具体操作请参见 创建负载均衡实例。
操作步骤
- 登录 持续交付控制台。
- 在左侧导航栏选择 AI 应用。
- 在 AI 应用页面，单击 创建应用。
- 选择 自定义创建 模板，并单击 下一步：应用配置。
- 按要求填写应用的相关配置信息。配置完成后单击 确定，应用将开始创建并部署。
- 基本信息
- 配置项说明应用标识根据界面提示填写应用标识。应用标识是应用的唯一标识，创建后不可更改。应用显示名自定义应用的显示名称。描述填写当前应用的备注信息，可以为空。
- 部署集群
- 配置项说明部署资源选择前提条件中接入的 VKE 部署集群。注意如需以弹性容器实例方式部署，仅适用于网络模型为 VPC-CNI 的 VKE 集群，且集群中需提前安装 vci-virtual-kubelet 组件。命名空间选择或输入要部署的命名空间。输入的命名空间不存在时会自动创建。环境标识自定义当前环境的唯一标识。环境标识创建成功后不支持修改。
- 模型配置
- 配置项说明镜像选择支持通过以下方式选择 AI 应用使用的容器镜像。
- 预置镜像：CP 预置了基于不同机器学习框架的官方镜像，帮助您快速构建 AI 应用的运行环境。您可基于使用的模型选择合适的镜像和版本。当前支持 triton、TensorFlow、pytorch、stable-diffusion-webui、Llama-Factory。
- 自定义镜像：如果预置镜像无法满足您的业务需求，支持从您的火山引擎镜像仓库选择自己的容器镜像。请选择目标镜像所在的 地域、实例、命名空间、OCI 仓库、 Tag。若需私有镜像仓库授权，请勾选 鉴权 开关，并输入 用户名 和 密码。
- 镜像地址：如果预置镜像无法满足您的业务需求，支持直接输入外部镜像地址。镜像地址格式为host/namespace/repo:tag。若需私有镜像仓库授权，请勾选 鉴权 开关，并输入 用户名 和 密码。
模型选择（可选）单击 添加模型挂载，配置模型文件。一个 AI 应用支持挂载多个模型。提供以下方式配置模型文件，请按需选择。- TOS 挂载：通过火山引擎对象存储 TOS 挂载模型文件。
- 选择模型文件所在的 地域，Bucket，并填写具体 路径。
- AK & SK：输入当前账号的访问密钥 AccessKey ID（AK）和 Secret Access Key（SK）。建议使用最小化授权的 IAM 用户的访问密钥，要求已授权对应文件的访问权限。
- 挂载路径：挂载到 AI 应用中的目标路径，用来读取 TOS 路径中的模型文件。
- 制品库挂载：通过火山引擎制品仓库挂载模型文件。
- 制品库：选择模型文件所在的 地域、实例、仓库、命名空间、模型名称、版本。仅支持选择 AI 制品仓库。
- AK & SK：输入当前账号的访问密钥 AccessKey ID（AK）和 Secret Access Key（SK）。建议使用最小化授权的 IAM 用户的访问密钥，要求该 IAM 用户已授权仓库挂载权限。
- 挂载路径：挂载到 AI 应用中的目标路径，用来读取制品库中的模型文件。
- NAS 挂载：通过火山引擎文件存储 NAS 挂载模型文件。
- 文件系统类型：选择文件系统类型，支持 极速型 和 容量型。要求 NAS 与待部署的 VKE 集群处于相同的 VPC。
- 挂载点：选择要挂载的 文件系统 和 挂载点。
- 子目录：输入待挂载的文件系统的子目录信息，默认为根目录/。
- 挂载路径：挂载到 AI 应用中的目标路径，用来读取 NAS 路径中的模型文件。
启动命令设置应用的启动命令和监听的容器端口。- 启动命令：针对不同的预置镜像，系统提供了默认的启动命令。例如：使用 trition 镜像时，默认的启动命令为 tritonserver --model-repository=/models。支持根据业务需求修改启动命令。
- 端口：设置应用监听的容器端口。
注意--model-repository用于指定模型的路径，需要与 模型选择 中的 挂载路径 保持一致。- 生命周期命令配置：如需配置容器启动后或停止前的命令，请勾选 生命周期命令配置。
- 容器启动后：输入容器启动后要执行的命令。
- 容器停止前：输入容器停止前要执行的命令。
高级配置（可选）支持按需为应用添加 输入输出配置、三方库配置、环境变量、健康检查，详情参见下方表格。
- 高级配置（可选）
- 配置项说明输入输出配置支持代码、配置项、插件、输出物等的存储配置。提供以下配置方式，请按需选择。
- TOS 挂载：选择目标 TOS 地域，Bucket，并输入具体 路径。
- AK & SK：输入当前账号的访问密钥 AccessKey ID（AK）和 Secret Access Key（SK）。建议使用最小化授权的 IAM 用户的访问密钥。
- 挂载路径：挂载到 AI 应用中的目标路径。
- 配置项挂载
- 名称：请输入配置项（ConfigMap）名称。要求配置项必须属于待部署的命名空间。
- 挂载路径：挂载到 AI 应用中的目标路径。
- NAS 挂载：
- 文件系统类型：选择文件系统类型，支持 极速型 和 容量型。要求 NAS 与待部署的 VKE 集群处于相同的 VPC。
- 挂载点：选择要挂载的 文件系统 和 挂载点。
- 子目录：输入待挂载的文件系统的子目录信息，默认为根目录/。
- 挂载路径：挂载到 AI 应用中的目标路径。
三方库配置配置应用运行过程中需要的一些三方库依赖。- PIP：从 火山引擎 PIP 镜像源 中下载您需要的 Python 依赖。您只需填写文件名称即可，多个文件之间支持以,或\n做分隔。
环境变量按需配置环境变量。环境变量的信息会注入应用运行的环境中，以便在运行时动态地配置应用程序。支持添加多条环境变量。- Key：输入环境变量的名称。
- Value：输入环境变量的值。
健康检查当前为存活检查：检查容器是否正在运行，探测失败时会重启容器。- 检查方式
- HTTP 请求检查：使用 HTTP 或 HTTPS 协议，向容器发送一个 HTTP Get 请求，通过检查响应确认容器状态。您需要进行如下检查配置：
- 协议：HTTP 或 HTTPS。
- 请求头：HTTP 请求中自定义的请求头（HTTP Headers）。单击 添加， 输入请求头的 key 和 value。
- 路径：输入业务代码中用于健康检查的访问路径。默认为/，支持修改。
- 端口：输入应用的访问端口。默认为 8080，支持修改。
- TCP 端口检查：向应用发送一个 TCP Socket，探测是否可正常建立连接。您需要进行如下检查配置：
- 端口：输入应用的访问端口。默认为 8080，支持修改。
- 时间设置
- 配置检查的时间参数，包括：
- 初始等待时间：指应用启动后，第一次执行探测时需要等待的时间，默认为 1 秒。
- 超时时间：指发送检查请求后，等待响应的超时时间。超过此时间表示应用无响应，默认为 1 秒。
- 检查间隔：相邻两次检查的时间间隔。默认为 10 秒。
- 阈值设置
- 配置检查的结果阈值，包括：
- 成功阈值：检查请求发送后，表示系统正常的响应次数，默认为 1 次。该项不可配置。
- 失败阈值：检查请求发送后，表示系统异常的无响应次数，默认为 3 次。即如果应用对请求 3 次无响应，则认为应用状态异常。
自定义标签/注解支持在应用中添加标签（Label）和注解（Annotation）。分布式推理当前仅预置镜像为 vLLM 或 SGLang 时支持。- 机器数：填写 部署单个实例所需的机器数。例如，一个大模型服务需要 4 个实例，部署单个实例所需的机器数为 2，则一共需要 4 ✖️ 2 = 8 台机器（节点）部署该服务。如果集群的节点数不足 8 台将导致部署失败。VKE 中增加节点的说明参见 集群扩容。
- RDMA 配置：是否在资源中开启 RDMA 功能。RDMA （Remote Direct Memroy Access，远程直接内存访问）是一种高性能网络协议，能够减少了CPU 占用，减少内存带宽瓶颈，提高带宽利用率。当前仅高性能计算 GPU 型实例支持 RDMA。在容器服务中，开启 RDMA 资源的使用请参考文档：VKE 集群中使用 RDMA 资源。
- RDMA 卡数：开启 RDMA 功能的卡数。
滚动更新开启后，服务更新时会按照滚动更新策略进行更新，避免服务更新过程中出现服务中断的情况。- 最大不可用：滚动更新时，实例数量不能超过的值。
- 最大超量：滚动更新时，允许临时超出期望实例总数的最大数量。
- 服务规格
- 勾选 以弹性容器实例方式部署
-
- 不勾选 以弹性容器实例方式部署
-
- 访问配置（可选）
- 配置 AI 应用的访问方式。详细内容可参见 访问设置。
结果验证
- 验证应用是否部署成功
- 在应用的 基本信息 > 资源配置 页签，查看应用的部署进度。支持通过实例的 运行状态、实时日志 和 事件，查看应用详细的启动和运行信息。
-
- 查看实时日志：单击 实时日志，可查看应用的运行信息，方便运维和排障。
- 查看事件：单击 事件，可查看应用的启动信息。最多可查看最近 1 小时内发生的事件信息。
- 获取应用的访问域名
- 应用部署成功后，可在 访问设置 区域复制应用的访问地址。通过该地址去访问 AI 应用。
- 验证应用是否启动成功
- 不同模型的验证方法不同。下图以使用 triton 推理引擎的 AI 应用为例，可通过以下命令查询应用中的某个模型是否启动成功。
-
最近更新时间：2026.06.17 16:50:41
这个页面对您有帮助吗？
有用
有用
无用
无用