容器服务
容器服务
文档指南
请输入
- 文档首页
容器服务AI 云原生推理套件大语言模型应用部署文本模型应用
复制全文
下载 pdf部署文本模型应用
文档反馈
问问助手本文主要介绍通过 AI 云原生推理套件（ServingKit）的 AI 应用模板，部署 DeepSeek、Qwen、GLM、Kimi、Gemma 等大语言模型 AI 推理应用方法。
使用说明
- 部署文本模型涉及较多组件，相互间有依赖，配置复杂，为了获得符合预期的结果，请务必根据本文指引操作。
- 为了获得符合预期的结果，同时符合容器服务的 使用限制，请按照本文方案（或在本文推荐的资源上）操作。如需替换方案，您可以联系对应的火山引擎客户经理咨询。
- 请勿使用 mGPU 对 GPU 进行切分。
- 完整的部署流程，可能依赖如下火山引擎邀测能力，请结合实际业务需求和 ServingKit AI 应用模板提供的能力，联系火山引擎客户经理申请试用邀测能力：
- 邀测功能/资源涉及产品说明高性能计算 GPU 型规格GPU 云服务器实例规格，为 AI 推理应用提供计算能力。目前在 GPU 云服务器侧，部分高性能计算 GPU 型规格和 GPU 计算型规格处于邀测阶段，例如部署 ServingKit 大部分 AI 应用模板所需的规格ecs.hpcpni3ln。GPU 计算型规格节点挂载本地盘能力容器服务允许在 VKE 集群中配置本地盘挂载。弹性极速缓存产品由火山引擎存储团队面向大语言模型推理场景推出的高性能分布式 KV Cache 缓存服务。仅部分 AI 应用模板支持 KV Cache，请结合实际需求和模板支持的能力，按需申请。
准备工作
- 您可以提前创建容器服务（VKE）异构计算托管集群，也可以在部署模型时同步创建集群。详细操作，请参见 创建异构计算托管集群。
- （可选）若需要通过 API 网关对外暴露服务，需要准备 API 网关实例。您可以提前创建，也可以在部署模型时同步创建 API 网关实例。详细操作，请参见 创建实例。
- （可选）若开启智能路由能力，需要在集群中安装 apig-controller 组件。详细操作，请参见 apig-controller。
操作步骤
- 登录 容器服务控制台。
- 在左侧导航栏，选择 推理套件 > AI 应用模板。
- 在 ServingKit AI 应用模板 页面选择您需要的文本模型，在目标模型区域单击 部署。
- 在 部署 页面，自定义配置模型参数。
- 参数说明选择框架及编排已选模板显示您已选的模板名称，以及模型对应的推理引擎和并行策略。
- 推理引擎和框架：适配 vLLM/SGLang/Dynamo 等主流推理引擎和框架，提供 DeepSeek/Qwen 等大语言模型和 ComfyUI 等视觉模型。
- 本文以选择 DeepSeek/Qwen 等大语言模型为例。
- 并行策略：目前 DeepSeek/Qwen 等大语言模型应用模板，支持 PD 共置 架构和 PD 分离 架构。
- 部分模板可能不支持 PD 分离，请以控制台显示为准。
镜像推理引擎的镜像。支持选择 ServingKit 预置 的镜像，也可以 自定义 填写第三方镜像地址或镜像仓库（CR）镜像地址。应用配置应用名称根据界面提示的命名要求，设置您的 AI 应用名称和描述。您也可以直接使用系统自动生成的应用名称。实例配置注意- 若您选择了 PD 分离 架构，需要分别对 Decode、Prefill、Sglang-router（可选）进行如下 实例配置。PD 分离架构说明，请参见 名词解释。
- Sglang-router 是基于 SGLang 的 PD 分离架构高性能请求路由器和负载均衡器。
实例规格实例指的是启动当前推理模型的载体。按需设置启动推理模型的最优 实例数 和 单实例 GPU 数。ServingKit 会根据您所选的推理引擎和并行策略，自动配置 单实例 GPU 数。RDMA 配置支持 开启 RDMA 网络，实现实例间通过 RDMA 高速网络互联，提高通信效率。开启 RDMA 网络后您可以单击
图标，自行填写 RDMA 卡数，也可以不填写，系统会根据您的 资源配置，自动配置 RDMA 卡数。建议保持系统自动计算。说明Prefill 和 Decode 默认启用 RDMA 网络，Sglang-router 默认不开启，请根据实际需求，自行更改。资源配置选择部署模型应用的 VKE 异构计算托管集群资源，请根据控制台界面显示的 部署清单 内容，准备部署资源：- 选择已有：选择已创建的 VKE 异构计算托管集群，并根据系统提示选择集群下的命名空间、节点池等资源。
- 自动创建：部署模型的同时，同步自定义创建 VKE 异构计算托管集群。详细的参数配置说明，请参见 创建异构计算托管集群。
注意若勾选了 开启 RDMA 网络，此处必须选择 高性能计算 GPU 型 规格的节点池。仅该规格的节点，支持通过 RDMA 高速网络互联。启动命令设置 AI 应用的启动脚本和端口号。默认无需修改，若您有特殊端口需求或启动时安装额外的节点配置等，可根据实际情况修改。更多配置- 健康检查：按需配置 AI 应用的健康检查。支持配置 存活检查、就绪检查 和 启动检查。允许基于 HTTP 协议、TCP 协议、gRPC 框架或执行具体命令的方式，探测容器中的负载是否正常。
- 环境变量：自定义设置环境变量。环境变量信息在部署 AI 应用时注入到容器中。
- 特权级容器：开启后，支持部署在 Linux 系统上的特权级容器控制网络堆栈或访问宿主机上的设备。
- KV Cache：自定义设置 AI 应用的数据缓存机制。目前 ServingKit 基于 弹性极速缓存（EIC）提供高性能分布式 KV Cache 缓存能力。
说明仅部分模型支持 KV Cache，请以控制台显示为准，并按需配置。服务配置API 网关如需通过 API 网关配置路由，处理模型的外部访问流量，则 开启 API 网关，并选择目标 API 网关实例。- 自动创建：部署 AI 应用的同时，自动新建一个由 ServingKit 固定了实例规格以及配置的 API 网关实例。新建 API 网关实例会产生计费，详情请参见 API 网关产品计费。
说明选择已有 API 网关暴露集群中的模型服务时，请关注如下参数或功能配置：- 地域：必须与 AI 应用所属地域一致。
- 熔断：当某些 GPU 实例出现异常时，一般会希望尽快将故障实例下线，避免故障持续。同时希望能够保留故障现场为后续进一步排查提供依据。 此时可以通过配置 API 网关的熔断规则，将出现故障的实例进行隔离。详情请参见 服务熔断策略。
智能路由更多配置更新策略ServingKit AI 应用模板默认开启更新策略，遵循 InPlaceUpdate 策略，即原地更新。通过 InPlaceUpdate 策略可直接更新现有的 RoleSet，且在此过程中不消耗额外的 GPU 资源。模型下载
- 单击 确认，完成部署配置。
- 应用创建预计需要 15~20 分钟，请您耐心等待，您也可以单击 返回 AI 应用列表 查看应用状态，或者单击 去 AI 应用模板 查看 AI 应用模板详情、创建新的 AI 应用。
后续操作
成功部署 AI 应用后，在 推理套件 > AI 应用列表 页面管理、查看、使用 AI 模型应用。详细操作，请参见：
最近更新时间：2026.10.14 19:17:57
这个页面对您有帮助吗？
有用
有用
无用
无用