容器服务
容器服务
文档指南
请输入
- 文档首页
容器服务AI 云原生推理套件大语言模型应用部署 LLM 通用模板应用
复制全文
下载 pdf部署 LLM 通用模板应用
文档反馈
问问助手本文主要介绍通过 AI 应用模版中的 LLM 通用部署模版部署推理服务的方法。
使用说明
- 部署文本模型涉及较多组件，相互间有依赖，配置复杂，为了获得符合预期的结果，请务必根据本文指引操作。
- 为了获得符合预期的结果，同时符合容器服务的 使用限制，请按照本文方案（或在本文推荐的资源上）操作。如需替换方案，您可以联系对应的火山引擎客户经理咨询。
- 请勿使用 mGPU 对 GPU 进行切分。
- 完整的部署流程，可能依赖如下火山引擎邀测能力，请结合实际业务需求和 ServingKit AI 应用模板提供的能力，联系火山引擎客户经理申请试用邀测能力：
- 邀测功能/资源涉及产品说明高性能计算 GPU 型规格GPU 云服务器实例规格，为 AI 推理应用提供计算能力。目前在 GPU 云服务器侧，部分高性能计算 GPU 型规格和 GPU 计算型规格处于邀测阶段，例如部署 ServingKit 大部分 AI 应用模板所需的规格ecs.hpcpni3ln。GPU 计算型规格节点挂载本地盘能力容器服务允许在 VKE 集群中配置本地盘挂载。弹性极速缓存产品由火山引擎存储团队面向大语言模型推理场景推出的高性能分布式 KV Cache 缓存服务。仅部分 AI 应用模板支持 KV Cache，请结合实际需求和模板支持的能力，按需申请。
准备工作
- 您可以提前创建容器服务（VKE）异构计算托管集群，也可以在部署模型时同步创建集群。详细操作，请参见 创建异构计算托管集群。
- 准备存储模型数据和应用数据所需的存储服务，支持对象存储（TOS）存储桶、文件存储（NAS）缓存型、弹性文件存储（EFS）等云服务，也支持使用部署 AI 应用所在 VKE 集群的节点云盘。
- （可选）若需要通过 API 网关对外暴露服务，需要准备 API 网关实例。您可以提前创建，也可以在部署模型时同步创建 API 网关实例。详细操作，请参见 创建实例。
操作步骤
- 登录 容器服务控制台。
- 在左侧导航栏，选择 推理套件 > AI 应用模板。
- 在 ServingKit AI 应用模板 页面选择 LLM通用部署模版 并单击 部署。
- 在 部署 页面，自定义配置模型参数。
- 参数说明选择框架及编排已选模板显示您已选的 LLM 通用部署模版。镜像推理引擎的镜像。支持如下镜像类型：
- 预置：选择 ServingKit 预置 的镜像，通过 高级筛选 查看 ServingKit 目前对不同生产环境提供的不同推理引擎模型，按实际需求自行选择使用镜像。
- 自定义：填写第三方镜像地址或镜像仓库（CR）镜像地址。后续需要您自行实现自定义镜像的启动命令、模型路径配置等。
推理引擎镜像 选择 自定义 后显示该参数。选择您 AI 应用的推理引擎。目前支持如下推理引擎和框架：- sglang：开源 LLM 推理框架。适用于智能体（Agent）、多步推理、JSON/Regex 约束生成等复杂控制流场景，为文生文等类型的模型提供高效、可靠的服务部署模式。
- vllm：开源 LLM 推理引擎。适用于需要高吞吐量的在线服务（如聊天机器人、内容摘要等），以及企业级 LLM 服务部署、实时对话系统和大规模文本生成场景。
- comfyui-openvefuser：火山引擎自研的 AIGC 推理加速插件，无缝集成 ComfyUI 生态，适用于 AIGC 领域的文生图、文生视频任务。插件介绍，请参见 ComfyUI 插件火山引擎增强版。
- openvefuser：火山引擎自研的通用 AIGC 推理插件，可独立部署或作为插件集成 ComfyUI，为多模态模型提供高效推理服务。插件介绍，请参见 Openvefuser 插件。
模型配置设置 AI 应用的模型配置：- 存储类型：选择用于保存模型数据的存储服务。支持的存储类型如下：
- TOS：使用 TOS 存储模型数据。您还需要配置具体的存储桶，详细操作，请参见 创建存储桶。
- 数据盘：使用 VKE 节点数据盘存储模型数据。若节点有本地盘，则优先使用本地盘，否则将模型数据下载至数据云盘。
- NAS 缓存型：【邀测】使用 NAS 缓存型存储模型数据。您还需要配置具体的文件系统和接入点，详细操作，请参见 缓存型。
说明- NAS 缓存型规格和 EFS 产品目前均处于邀测阶段，如需使用，请联系您的火山引擎客户经理申请邀测权限。
- 存储 ComfyUI 的models数据时，建议选择 EFS。
- 模型选择：根据实际需求，单击 添加预置模型 或 添加自定义模型，为模型配置 存储路径，相关模型的 容器挂载路径 下的数据，将存放在该存储路径下。预置模型与自定义模型说明如下：
- 预置模型：ServingKit 提供的预置模型，从下拉框中选择目标预置模型，并为该模型配置存储路径。使用预置模型后，您无需在节点上手动下载模型即可在当前应用中使用模型。
- 自定义模型：使用您自己准备的模型创建应用，并为自定义模型配置存储路径。后续您还需要将您的自定义模型下载到您的节点上。详情请参见 FAQ。
- AK & SK：使用 TOS 存储数据时需要配置。输入火山引擎访问密钥，用于 VKE 访问您的 TOS 服务资源。建议使用最小化授权的 IAM 用户的访问密钥，要求已授权对应文件的访问权限。AK & SK 获取方式，请参见 访问密钥使用指南。
应用配置应用名称根据界面提示的命名要求，设置您的 AI 应用名称和描述。您也可以直接使用系统自动生成的应用名称。推理模式实例配置注意- 若 推理模式 选择 PD 分离，需要分别对 Prefill 、Decode 进行如下 实例配置。
- PD 分离推理模式除了为 Prefill 和 Decode 进行实例配置外，还支持为 model-gateway（PD 分离架构高性能请求路由器和负载均衡器）进行实例配置，按需单击+号进行配置。
实例规格实例指的是启动当前推理模型的载体。按需设置启动推理模型的最优 实例数 和 单实例 GPU 数。RDMA 配置支持 开启 RDMA 网络，实现实例间通过 RDMA 高速网络互联，提高通信效率。开启 RDMA 网络后您可以单击
图标，自行填写 RDMA 卡数，也可以不填写，系统会根据您的 资源配置，自动配置 RDMA 卡数。建议保持系统自动计算。说明Prefill 和 Decode 默认启用 RDMA 网络，model-gateway 默认不开启，请根据实际需求，自行更改。资源配置选择部署模型应用的 VKE 异构计算托管集群资源，请根据实际需求准备部署资源：- 选择已有：选择已创建的 VKE 异构计算托管集群，并根据系统提示选择集群下的命名空间、节点池等资源。
- 自动创建：部署模型的同时，同步自定义创建 VKE 异构计算托管集群。详细的参数配置说明，请参见 创建异构计算托管集群。
注意- 若勾选了 开启 RDMA 网络，此处必须选择 高性能计算 GPU 型 规格的节点池。仅该规格的节点，支持通过 RDMA 高速网络互联。
- 使用已有异构计算托管集群时，若当前模型应用使用 TOS 作为存储，则集群必须安装 csi-fsx 和 fsx-service 组件。目前 TOS 存储仅支持通过 FSX 方式挂载到容器。您可以根据界面提示，跳转到对应集群的 组件管理 页面安装组件。详细操作和参数配置说明，请参见 csi-fsx、fsx-service。
启动命令设置 LLM 应用的启动脚本和端口号。更多配置- 健康检查：按需配置 AI 应用的健康检查。支持配置 存活检查、就绪检查 和 启动检查。允许基于 HTTP 协议、TCP 协议、gRPC 框架或执行具体命令的方式，探测容器中的负载是否正常。
- 环境变量：自定义设置环境变量。环境变量信息在部署 AI 应用时注入到容器中。
- 特权级容器：开启后，支持部署在 Linux 系统上的特权级容器控制网络堆栈或访问宿主机上的设备。
- KV Cache：AI 应用的数据缓存机制。目前 ServingKit 支持基于 弹性极速缓存（EIC）提供高性能分布式 KV Cache 缓存能力。
服务配置API 网关如需通过 API 网关配置路由，处理模型的外部访问流量，则 开启 API 网关，并选择目标 API 网关实例。- 自动创建：部署 AI 应用的同时，自动新建一个由 ServingKit 固定了实例规格以及配置的 API 网关实例。新建 API 网关实例会产生计费，详情请参见 API 网关产品计费。
说明选择已有 API 网关暴露集群中的模型服务时，请关注如下参数或功能配置：- 地域：必须与 AI 应用所属地域一致。
- 熔断：当某些 GPU 实例出现异常时，一般会希望尽快将故障实例下线，避免故障持续。同时希望能够保留故障现场为后续进一步排查提供依据。 此时可以通过配置 API 网关的熔断规则，将出现故障的实例进行隔离。详情请参见 服务熔断策略。
智能路由更多配置更新策略ServingKit AI 应用模板默认开启更新策略，遵循 InPlaceUpdate 策略，即原地更新。通过 InPlaceUpdate 策略可直接更新现有的 RoleSet，且在此过程中不消耗额外的 GPU 资源。模型下载
- 单击 确认，完成部署配置。
- 应用创建预计需要 15~20 分钟，请您耐心等待，您也可以单击 返回 AI 应用列表 查看应用状态，或者单击 去 AI 应用模板 查看 AI 应用模板详情或创建新的 AI 应用。
后续操作
成功部署 AI 应用后，在 推理套件 > AI 应用列表 页面管理、查看、使用 AI 模型应用。详细操作，请参见：
最近更新时间：2026.10.14 19:17:57
这个页面对您有帮助吗？
有用
有用
无用
无用