本文以4台ecs.hpcpni3ln.45xlarge实例为例，介绍如何在GPU云服务器上部署Kimi K3模型。

背景信息

Kimi K3是月之暗面（Moonshot AI）发布的开源多模态智能体大模型，也是全球首个突破3T参数门槛的开源模型。模型基于KDA（Kimi Delta Attention）与注意力残差（AttnRes）架构构建，参数规模达2.8T，原生支持视觉理解，并拥有百万Token的超长上下文窗口。Kimi K3专为长周期编程、复杂推理及深度知识工作而设计，在多项权威评测中表现优异。了解更多

软件要求

NVIDIA驱动：

GPU驱动：用来驱动NVIDIA GPU的程序，本文以535.261.03为例。

运行环境：

SGLang框架：SGLang框架是一款专为大语言模型（LLMs）及视觉语言模型打造的高性能服务框架，通过协同设计前端结构化生成语言与后端运行时系统，实现与模型的高效交互，并保障了生成过程的可控性。本文以火山引擎提供的SGLang容器镜像为例。

操作步骤

步骤一：准备环境

创建GPU计算型实例。

请根据通过向导购买实例指引，创建4台符合如下条件的实例：

配置项	推荐配置
基础配置
计算规格	ecs.hpcpni3ln.45xlarge 注意暂仅支持在如下邀测规格实例中部署 Kimi K3 模型，如需试用，请提交工单或联系客户经理申请。高性能计算GPU型hpcpni3ln 高性能计算GPU型ebmhpcpni3ln 高性能计算GPU型ebmhpcpni3l 高性能计算GPU型hpcpni3le 高性能计算GPU型hpcpni3h
镜像	Ubuntu 22.04 ，并勾选“后台自动安装GPU驱动”安装535.261.03版本GPU驱动。说明若您选用其他发行版本的镜像，需在创建实例后自行安装GPU驱动。
实例数量	4 说明本文创建的4台GPU实例，分别作为“Rank 0”、“Rank 1”、“Rank 2”、“Rank 3”。
存储	规格：吞吐型SSD TL0云盘容量：不低于 2048 GiB 注意由于Kimi K3模型文件较大，建议您配置的云盘或本地盘容量不低于 2048 GiB。
网络配置
私有网络	4台实例需处于同一私有网络。
公网IP	勾选“分配弹性公网IP”。

安装依赖的软件、工具。

登录目标实例。

执行如下命令，安装、配置Docker。

sudo apt update
sudo apt install ca-certificates curl gnupg lsb-release
sudo mkdir -p /etc/apt/keyrings
curl -fsSL https://mirrors.ivolces.com/docker/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://mirrors.ivolces.com/docker/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update
sudo apt install docker-ce docker-ce-cli containerd.io docker-compose-plugin -y

执行如下命令，安装NVIDIA Container Toolkit。

curl -s https://mirrors.ivolces.com/nvidia_all/ubuntu2204/x86_64/3bf863cc.pub | sudo apt-key add -
cat <<EOF >/etc/apt/sources.list.d/nvidia.list
deb http://mirrors.ivolces.com/nvidia_all/ubuntu2204/x86_64/ /
EOF
apt update
apt install nvidia-container-toolkit -y

执行如下命令配置Docker，使容器可以使用实例的GPU资源。

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

（可选）初始化本地盘。

若您选用的实例规格搭配有本地盘，建议您执行如下命令将本地盘挂载到存储模型的目录“/data00”，提升模型加载速度。

mkfs -t ext4 /dev/nvme0n1
mount -t ext4 /dev/nvme0n1 /data00

步骤二：部署、运行模型

登录目标GPU实例。了解更多。

根据实例所在地域，在4台实例中分别执行如下命令，下载Kimi K3与Kimi K3 DSpark模型。

华北2（北京）
华东2（上海）

docker run --rm \
-v /data00/:/data00 \
--workdir /data00 \
--entrypoint bash \
ai-containers-cn-beijing.cr.volces.com/deeplearning/sglang:v0.5.16.iaas.202607280000-kimi-k3-cu130 \
-lc '
set -e
if ! command -v oniond >/dev/null 2>&1; then
apt update
apt install -y ca-certificates curl gnupg gpg
curl -fsSL https://mirrors.ivolces.com/extra-tools/ubuntu/GPG-KEY-system | gpg --dearmor -o /etc/apt/trusted.gpg.d/volc-extra-tools.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/trusted.gpg.d/volc-extra-tools.gpg] http://mirrors.ivolces.com/extra-tools/ubuntu noble main" > /etc/apt/sources.list.d/volctools.list
apt update
apt install -y onion-ai-data
fi
oniond download model Kimi-K3 --turbo --dir /data00
oniond download model Kimi-K3-DSpark --turbo --dir /data00
'

请根据实例所在地域，在实例中执行对应命令，启动Docker容器。

华北2（北京）
华东2（上海）

请根据您为实例指定的节点名称，执行对应命令。

“Rank 0”实例
“Rank 1”实例
“Rank 2”实例
“Rank 3”实例

docker run \
-d \
--gpus all \
--name sglang-kimi-k3 \
--net=host \
--shm-size=100g \
--ulimit memlock=-1 \
--ulimit stack=67108864 \
--privileged \
--ipc=host \
--security-opt seccomp=unconfined \
--cap-add=ALL \
-v /data00/:/data00/ \
-v /var/run/nvidia-topologyd/:/var/run/nvidia-topologyd/ \
-e GLOO_SOCKET_IFNAME=eth0 \
-e NCCL_MIN_NCHANNELS=24 \
-e NCCL_IB_QPS_PER_CONNECTION=8 \
-e NCCL_CUMEM_ENABLE=1 \
-e PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True \
-e SGLANG_ENABLE_TP_MEMORY_INBALANCE_CHECK=0 \
-e SGLANG_K3_ATTN_RES_MODE=jit \
-e SGLANG_MOE_FUSED_GATE_RADIX=1 \
--entrypoint sglang \
ai-containers-cn-beijing.cr.volces.com/deeplearning/sglang:v0.5.16.iaas.202607280000-kimi-k3-cu130 \
serve \
--trust-remote-code \
--model-path /data00/Kimi-K3 \
--served-model-name kimi-k3 \
--tp-size 32 \
--nnodes 4 \
--node-rank 0 \
--dist-init-addr "<rank0_private_ip>:20000" \
--ep-size 32 \
--moe-runner-backend marlin \
--decode-attention-backend flashmla \
--mem-fraction-static 0.85 \
--mamba-radix-cache-strategy extra_buffer_lazy \
--dist-timeout 3600 \
--reasoning-parser kimi_k3 \
--tool-call-parser kimi_k3 \
--mamba-full-memory-ratio 0.8 \
--host 0.0.0.0 \
--port 8080 \
--speculative-algorithm DSPARK \
--speculative-draft-model-path /data00/Kimi-K3-DSpark \
--speculative-dspark-block-size 7 \
--enable-linear-replayssm-spec \
--cuda-graph-max-bs 128 \
--max-running-requests 128 \
--enable-metrics \
--enable-cache-report \
--show-time-cost

参数说明：

如上命令以部署、启动Kimi K3模型为例，如需部署、启动其他模型，可根据如下说明替换对应环境变量和参数值。

参数名称	参数类型	说明	取值示例
sglang serve	启动指令	通过SGLang CLI启动模型服务端。说明该内容是命令入口，而非参数。	-
--model-path	路径 / 模型 ID	指定加载的LLM模型，支持Hugging Face模型ID或本地模型路径。	/data00/Kimi-K3
--speculative-draft-model-path	路径 / 模型 ID	指定加载的DSpark模型，支持Hugging Face模型ID或本地模型路径。	/data00/Kimi-K3-DSpark
--tp-size	整数	配置张量并行度（Tensor Parallelism）。	32
--ep-size	整数	配置专家并行度（Expert Parallelism）。	32
--host	IP 地址	指定服务绑定的主机地址。	0.0.0.0
--port	整数	指定服务监听端口，用于客户端连接。	8080
--dist-init-addr	IP:端口 / DNS:端口	分布式集群初始化地址，用于多节点通信同步。实际部署中使用“Rank 0”实例的私网IP地址。	192.0.0.1:20000
--nnodes	整数	指定分布式集群总节点数。	4
--node-rank	整数	指定当前节点在集群中的序号，从0开始。	0
--mem-fraction-static	浮点数	控制静态显存占比，给运行时 workspace 留出更多余量。	0.85
--cuda-graph-max-bs	整数	降低CUDA graph capture/replay的batch显存压力。	128
--max-running-requests	整数	限制同时处理的最大请求数。	128

执行如下命令，通过Docker日志确认容器及模型是否成功启动。

查看容器ID。

docker ps

查看对应容器的运行日志。

docker logs -f <CONTAINER_ID>

步骤三：调用模型

登录“Rank 0”实例。

执行如下命令调用模型，确保部署的模型可以正常进行推理。

curl -X POST http://127.0.0.1:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
"model": "kimi-k3",
"messages": [
{
"role": "user",
"content": "请直接回答：1+1等于几？"
}
],
"max_tokens": 2048,
"temperature": 0
}'

参数说明：

本文仅说明验证使用到的参数信息。

参数名	说明	取值样例
model	使用的实际模型。	kimi-k3
messages	对话的消息列表。 role：该消息的发起角色。 content：消息的内容。	-
max_tokens	指定一次请求中模型生成Completion的最大Token数。取值：介于1 到 8192 间的整数。默认值为 4096。	2048
temperature	采样温度，值越高（例如1）会使输出更随机，而值越低（例如0.2）会使其更加集中和确定。取值：介于 0 和 2 之间。	0