文档中心

容器服务

Kimi 实践

快速部署基于 SGLang 的 Kimi-K2-Instruct

本文主要介绍使用容器服务（VKE）快速部署基于 SGLang 的 Kimi-K2-Instruct 模型推理服务。

方案介绍

本方案结合火山引擎的多项加速技术，提供在 Kubernetes 集群中快速部署 Kimi-K2-Instruct 大语言模型的方法：

Kimi-K2-Instruct 模型：由 Moonshot AI 公司于 2025 年 7 月正式发布的，作为 Kimi 大模型系列的第二代产品。它在性能、功能和应用场景上实现了显著突破。

部署信息

模型：kimi-k2-instruct

推理引擎：SGLang

推荐规格：ecs.hpcpni3le.60xlarge * 1 台

支持能力

并行策略：TP

观测：托管 Prometheus（VMP）

访问：API 网关（APIG）

使用说明

本实践涉及较多组件，相互间有依赖，配置复杂，为了获得符合预期的结果，请务必根据本文指引操作。

为了获得符合预期的结果，同时符合容器服务的使用限制，请按照本文方案（或在本文推荐的资源上）操作。如需替换方案，您可以联系对应的火山引擎客户经理咨询。

请勿使用 mGPU 对 GPU 进行切分。

完整的部署流程，依赖部分火山引擎邀测能力，请联系火山引擎客户经理申请如下功能的邀测试用：

邀测功能/资源	涉及产品	说明
高性能计算 GPU 型 hpcpni3le 规格	GPU 云服务器	高性能计算实例，提供计算能力。由于 Deepseek 模型参数较大，因此需要申请有较大显存的 GPU 实例，例如ecs.hpcpni3le.60xlarge。
节点挂载本地盘能力	容器服务	允许在 VKE 集群中配置本地盘挂载。

前提条件

创建高性能计算集群

高性能计算集群，用于实现高性能计算 GPU 实例（计算节点）的逻辑隔离，同一集群内实例间 RDMA 网络互联互通。详情请参见创建高性能计算集群。

说明

高性能集群所在的地域和可用区需要与 VKE 节点的地域和可用区一致。

创建 VKE 集群

在容器服务中创建集群，需要注意以下列举的参数配置。其余参数说明和详细的操作步骤，请参见创建集群。您也可以使用异构计算托管集群模板快速创建本场景使用的 VKE 集群。

配置项	说明
集群配置
Kubernetes 版本	选择 v1.28 及以上版本。
容器网络模型	选择 VPC-CNI。
节点池配置
托管节点池	开启托管节点池。
可用区	与高性能计算集群所在的可用区相同。
计算规格	选择已申请邀测的高性能计算 GPU 型ecs.hpcpni3le.60xlarge规格。
高性能计算集群	选择之前创建的高性能计算集群。
节点数量	1 个。
数据盘	配置如下两个数据盘：极速型 SSD：规格选 1024 GiB，性能级别选择默认值 PL0。本地盘 SSD：指定挂载目录为/data01。注意 data01目录后续有相关依赖，不能修改和自定义。如果物理机宕机或本地盘损坏，将存在数据丢失的风险，因此请勿在本地盘上存储需要长期保存的数据，同时做好数据备份。
组件配置
nvidia-device-plugin	（必装）NVIDIA 设备驱动，支持在容器里使用 GPU 显卡设备的管理组件。
apig-controller	（必装）API 网关控制器，提供云原生的 AI 网关能力，根据不同策略完成推理流量的智能负载均衡。
csi-ebs	（必装）支持容器集群使用存储服务的标准 CSI 接口实现。
prometheus-agent	（必装）托管 Prometheus 监控组件，采集 Kubernetes 集群监控指标数据到火山引擎托管 Prometheus 服务（VMP）。
cr-credential-controller	（推荐安装）免密拉取镜像仓库（CR）镜像，简化部署操作。
keda	（推荐安装）基于 Kubernetes 的事件驱动的弹性伸缩器。基于复杂指标完成推理服务的弹性伸缩任务。
vci-virtual-kubelet	（推荐安装）利用弹性容器实例部署系统组件等 CPU 工作负载，免运维且不占用 GPU 节点计算资源。

操作步骤

步骤一：部署 kimi-k2-instruct-sglang

容器服务基于 SGLang 框架提供 Kimi-K2-Instruct 模型应用，可通过应用模版快速部署。

在容器服务控制台左侧导航栏，选择应用中心 > 应用模板。

在应用模板页面，找到 kimi-k2-instruct-sglang 应用模板，单击立即部署。

在部署应用页面，配置 kimi-k2-instruct-sglang 服务参数。

配置项	说明
编排模板
应用模板	选择 kimi-k2-instruct-sglang 的 Chart 版本，建议选择最新版本。
参数配置	kimi-k2-instruct-sglang 的配置方法。单击编辑图标，可查看values.yaml文件中的各配置项配置说明，或编辑 YAML 文件。
名称	根据界面提示的命名要求，自定义应用名称。
部署环境
集群	选择前提条件中创建的 VKE 集群。
命名空间	自定义选择目标集群下的命名空间。
协议	阅读了解协议内容后勾选协议。

单击确定，部署完成应用。

应用部署完成后会显示在 Helm 应用页面。选择目标项目、集群、命名空间，找到已部署的 kimi-k2-instruct-sglang 应用，单击名称，进入详情页面查看该应用的基本信息、关联创建的工作负载、服务、其他资源等。

说明

其中，<应用名称>-api-svc格式的服务是该应用对外暴露的服务（Service）名称，后续配置路由、模型验证等步骤，需要关联该服务。

在 VKE 集群的无状态负载页面，查看 kimi-k2-instruct-sglang 应用对应的负载状态。

在容器服务控制台左侧导航栏，选择集群，找到目标集群并单击集群名称。

在目标集群管理页面选择工作负载 > 无状态负载，然后搜索 kimi-k2-instruct-sglang 应用对应的名称，查看相关负载的状态。

步骤二：配置路由

通过 APIG Ingress 配置模型路由。APIG Ingress 基于火山引擎 API 网关（API Gateway，APIG）提供托管的云原生网关功能，实现高可用、高扩展的 Ingress 流量管理方式，满足在云原生应用场景下对业务流量稳定性和高可用性的需求。

在集群管理页面的左侧导航栏中，选择服务与路由 > 路由规则，单击创建路由规则。使用 API 网关对外暴露集群内的模型服务。部分参数按如下说明配置，其余配置详情，请参见通过控制台创建 APIG Ingress。

配置项	说明
基本配置
命名空间	选择部署 kimi-k2-instruct-sglang 应用模板的命名空间，用于关联该应用对外暴露的服务。
Ingress 配置
Ingress 类型	选择云原生 API 网关。
网关 APIG 规格配置
网关规格	可以选择自动创建，也可以选择使用已有 APIG 实例。说明使用 API 网关暴露集群中的模型服务时，建议配置如下参数或功能（部分参数仅 APIG 控制台支持配置，VKE 控制台无相关配置）：实例规格：建议选择 4c8g 规格，默认双可用区高可用。带宽上限：VKE 控制台上的配置项为 API 网关下 CLB 负载均衡的带宽，如需更大带宽，可以在 API 网关控制台中绑定自定义 CLB 实例，详情请参见添加访问入口。熔断：当某些 GPU 实例出现异常时，一般会希望尽快将故障实例下线，避免故障持续。同时希望能够保留故障现场为后续进一步排查提供依据。可以通过配置网关的熔断规则，将出现故障的实例进行隔离。请求超时：API 网关默认不超时，建议保持默认。如有超时需求，支持在 API 网关控制台中配置超时，详情请参见高级路由策略。可观测性：在 VKE 控制台上创建的 API 网关实例，默认情况下未开启监控告警和日志功能。如有需要，建议您在 API 网关控制台中开启对应实例的日志和监控告警能力。实例监控：能够帮助您从入口网关层面及时发现整个系统链路上的非预期现象。例如：后端不健康、后端 Crash 等，在 API 网关会报503错误码，以及具体的错误详情。实例日志：从访问日志里能够查看请求错误详情、请求耗时、请求在后端各个 Pod 的分布等详情。
后端 Upstream	负载均衡算法建议配置为轮询。在后端负载近似均衡的前提下，更适用于后端升级变更的场景。
监听配置
协议	按实际需求选择协议。如果选择 HTTPS，请按照 APIG Ingress 文档中的要求，配置证书。
转发配置
域名	填写需要暴露的 Ingress 域名。后续该域名的 A（Address）记录需要配置当前 Ingress 创建成功后生成的公网 IP 地址或者私网 IP 地址。
服务	选择部署 kimi-k2-instruct-sglang 应用模板时，关联创建的<应用名称>-api-svc格式名称的服务，端口号设置为 8080。