文档中心

容器服务

Kimi 模型部署

通过 LLM 通用模板快速部署 Kimi-K3 模型

本文主要介绍通过 ServingKit LLM 通用模板，在容器服务（VKE）集群中快速部署 Kimi-K3 模型。

背景信息

Kimi K3 是月之暗面（Moonshot AI）发布的开源多模态智能体大模型，也是全球首个突破3T参数门槛的开源模型。模型基于 KDA（Kimi Delta Attention）与注意力残差（AttnRes）架构构建，参数规模达 2.8T，原生支持视觉理解，并拥有百万 Token 的超长上下文窗口。Kimi K3 专为长周期编程、复杂推理及深度知识工作而设计，在多项权威评测中表现优异。本文介绍如何通过 LLM 通用模板，在 Kubernetes 集群上快速部署 Kimi-K3 模型。

使用说明

本实践涉及较多组件，相互间有依赖，配置复杂，为了获得符合预期的结果，请务必根据本文指引操作。

为了获得符合预期的结果，同时符合容器服务的使用限制，请按照本文方案（或在本文推荐的资源上）操作。如需替换方案，您可以联系对应的火山引擎客户经理咨询。

请勿使用 mGPU 对 GPU 进行切分。

准备工作

部署 AI 业务，依赖火山引擎邀测资源，请联系客户经理申请如下资源的邀测试用：

邀测资源	涉及产品	说明
高性能计算 GPU 型 hpcpni3ln 规格	GPU 云服务器	高性能计算实例，提供计算能力。部署 Kimi-K3 模型时，推荐申请 4 台ecs.hpcpni3ln.45xlarge规格的 GPU 实例。

本示例通过 API 网关对外暴露服务，需要准备 API 网关实例。您可以提前创建 API 网关实例或使用已有 API 网关实例，也可以在 ServingKit 上部署应用时同步自动创建实例。

说明

提前创建 API 网关实例或使用已有 API 网关实例时请确保实例的地域需要与 VKE 集群的地域一致，且建议网络类型同时开启公网和私网。创建 API 网关实例相关操作，请参见创建实例。

需要创建高性能计算集群，用于实现高性能计算 GPU 实例（计算节点）的逻辑隔离，实现同一集群内实例间 RDMA 网络互联互通。详情请参见创建高性能计算集群。

说明

高性能计算集群所在的地域和可用区需要与 VKE 集群的地域和可用区一致。

操作步骤

步骤一：创建 VKE 异构计算集群

使用 VKE 的集群模板，快速创建异构计算集群，需要注意以下列举的参数配置。其余参数说明和详细的操作步骤，请参见使用集群模板创建异构计算托管集群。

配置项	说明
集群及节点池配置
地域	地域和可用区，需要与前期准备的高性能计算集群的地域和可用区一致。您可以通过顶部导航栏切换地域。
可用区	地域和可用区，需要与前期准备的高性能计算集群的地域和可用区一致。您可以通过顶部导航栏切换地域。
计算规格	选择高性能计算 GPU 型的ecs.hpcpni3ln.45xlarge规格。
节点数量	设置为 4。
高级配置
数据盘	配置如下两个数据盘：极速型 SSD：规格选 1024 GiB，性能级别选择默认值 PL0。本地盘 SSD：指定挂载目录为/data01。注意 data01目录后续有相关依赖，不能修改和自定义。如果物理机宕机或本地盘损坏，将存在数据丢失的风险，因此请勿在本地盘上存储需要长期保存的数据，同时做好数据备份。

步骤二：部署 Kimi-K3

通过 ServingKit 提供的 LLM 通用部署模板下载并部署模型。部署过程中，需要注意以下列举的参数配置，其余参数说明和详细的操作步骤，请参见部署 LLM 通用模板应用。

参数	说明
选择框架及编排
镜像	选择预置，然后在高级筛选下拉框中选择 POC 和 SGLang 后，找到v0.5.16.iaas.202607280000-kimi-k3-cu130镜像，并选中镜像。
模型配置	存储类型：选择数据盘。模型选择：单击添加预置模型，选择 Kimi-K3 和 Kimi-K3-DSpark 两个预置模型，并配置挂载路径为/data01、容器挂载路径为/data/models，表示将模型数据下载至/data01目录。
推理模式	选择 PD 共置。
实例规格	实例数：设置为 1。单实例 GPU 数：设置为 32。
资源配置	选择步骤一中创建的 VKE 异构计算集群，以及该集群下ecs.hpcpni3ln.45xlarge规格节点所在的节点池。
启动命令	添加如下启动命令。启动命令中各字段的详细说明，请参见下方“启动命令详细说明”表格。 source /workspace/nccl_env.sh && GLOO_SOCKET_IFNAME=eth0 NCCL_MIN_NCHANNELS=24 NCCL_IB_QPS_PER_CONNECTION=8 NCCL_CUMEM_ENABLE=1 PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True SGLANG_ENABLE_TP_MEMORY_INBALANCE_CHECK=0 SGLANG_K3_ATTN_RES_MODE=jit SGLANG_MOE_FUSED_GATE_RADIX=1 sglang serve --trust-remote-code \ --model-path /data/models/Kimi-K3 \ --served-model-name kimi-k3 \ --tp-size 32 \ --nnodes 4 \ --node-rank $POD_GROUP_INDEX \ --dist-init-addr "${ROLESET_NAME}-${ROLE_NAME}-${ROLE_TEMPLATE_HASH}-${ROLE_REPLICA_INDEX}-0.${STORM_SERVICE_NAME}:20000" \ --ep-size 32 \ --moe-runner-backend marlin \ --decode-attention-backend flashmla \ --mem-fraction-static 0.85 \ --mamba-radix-cache-strategy extra_buffer_lazy \ --dist-timeout 3600 \ --reasoning-parser kimi_k3 \ --tool-call-parser kimi_k3 \ --mamba-full-memory-ratio 0.8 \ --host 0.0.0.0 \ --port 8080 \ --speculative-algorithm DSPARK \ --speculative-draft-model-path /data/models/Kimi-K3-DSpark \ --speculative-dspark-block-size 7 \ --enable-linear-replayssm-spec \ --cuda-graph-max-bs 128 \ --max-running-requests 128 \ --enable-metrics \ --enable-cache-report \ --show-time-cost 端口号设置为 8080。
API 网关	勾选开启，绑定前期准备的 API 网关实例。说明您也可以在此处选择自动创建，新建一个由 ServingKit 固定了实例规格以及配置的 API 网关实例。新建 API 网关实例会产生计费，详情请参见 API 网关产品计费。

启动命令详细说明

参数	类型	说明	取值示例
sglang serve	启动指令	通过 SGLang CLI 启动模型服务端。该字段属于命令入口，非参数。	无
--model	路径 / 模型 ID	加载的 LLM 模型，可配置如下值： Hugging Face 模型 ID。本地模型路径。	/data/models/Kimi-K3
--tp-size	整数	配置张量并行度（Tensor Parallelism）。	32
--nnodes	整数	指定分布式集群总节点数。	4
--node-rank	整数	指定当前节点在集群中的序号，从0开始。	0
--dist-init-addr	IP: 端口	分布式集群的初始化地址（主节点地址），用于多节点通信同步。	变量注入
--ep-size	整数	配置专家并行度（Expert Parallelism）。	32
--host	IP 地址	服务绑定的主机地址。	0.0.0.0
--port	整数	服务监听的端口号，用于连接客户端。	8000
--mem-fraction-static	浮点数	控制静态显存占比，给运行时 Workspace 留出更多余量。	0.85
--cuda-graph-max-bs	整数	用于设置 CUDA Graph 的最大批量大小，可以降低 CUDA graph capture/replay 的 batch 显存压力。	128
--max-running-requests	整数	限制同时处理的最大请求数。	128
--enable-metrics	指令	采集基础观测指标。详细的指标说明，请参见 SGLang 文档。	无

应用部署成功后，因模型大小不同，模型启动时间会有差异。请在应用状态变更为运行中后在应用详情页面查看应用对应实例的日志。日志中显示The server is fired up and ready to roll!信息，则表示应用中的模型启动成功，您可以访问模型服务。

步骤三：访问服务

成功部署 Kimi-K3 模型服务后，获取服务域名，访问服务。

获取 Kimi-K3 模型服务域名。

在容器服务控制台的推理套件 > AI 应用列表，找到已部署的 Kimi-K3 模型应用。

单击应用上的 → 图标，进入应用详情页，查看服务域名地址。

在可以使用curl命令的终端上，执行如下命令，访问 Kimi-K3 模型服务。

说明

请将${your_service_domain_name}替换为上一步获取的服务域名地址。

若无可用终端，可通过 ECS Terminal 方式，登录到部署模型的节点上，使用curl命令访问服务。详细操作，请参见 ECS Terminal。

curl -X POST http://${your_service_domain_name}/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "Kimi-K3",
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "help me write a random generator in python"}
]
}'

命令中的参数说明如下：

参数
说明
取值示例
model
使用的实际模型。
Kimi-K3
messages
对话的消息列表。
role：该消息的发起角色。
content：消息的内容。
无

调用成功后预期返回结果如下图所示。

后续操作

增强服务安全

您可以通过 API 网关的 API Key，增强 Kimi-K3 服务安全能力。

为 API 网关实例创建消费者。详细操作，请参见创建消费者。

基于消费者生成 Key Auth 插件认证信息。详细操作，请参见生成认证信息。

启用 Key Auth 插件：在左侧导航栏选择插件中心 > Key Auth插件，单击创建插件，配置插件参数。

生效级别：选择路由级别，并配置插件所属实例、服务和路由。

认证配置：选择 header，并配置来源为 Authorization，表示在请求头中的 Authorization 附带 API Key 认证信息。

消费者：选择步骤 1 中创建的消费者或选择全部，后续新创建的消费者也生效。

其他配置保持缺省。

开启 Key Auth 插件认证后执行访问服务的命令时，必须携带鉴权信息，未携带时会返回无权限调用的提示信息。

curl http://${your_service_domain_name}/v1/chat/completions -X POST \
-H "Content-Type: application/json" \
-H "Authorization: Bearer ${your_api_key}" \
-d '{
"model": "Kimi-K3",
"messages": [
{
"role": "user",
"content": "help me write a random generator in python"
}
],
"max_tokens": 500,
"temperature": 0.7
}'

开启观测

ServingKit AI 应用默认支持云原生基础观测能力，您可以在 AI 应用详情页查看应用监控看板。

在容器服务控制台的推理套件 > AI 应用列表，找到已部署的 Kimi-K3 模型应用。

单击应用上的 → 图标，进入应用详情页，查看监控观测页签下的看板信息。

说明

若您未开启过相关集群的观测能力，可根据控制台提示开启观测。云原生观测能力相关操作，请参见开启观测、容器服务观测。

最近更新时间：2026.07.29 14:38:00

这个页面对您有帮助吗？

有用

无用

参数	说明	取值示例
model	使用的实际模型。	Kimi-K3
messages	对话的消息列表。 role：该消息的发起角色。 content：消息的内容。	无