文档中心

GPU云服务器

DeepSeek系列模型

GPU-部署DeepSeek-V3.2模型

本文以2台ecs.hpcpni3ln.45xlarge实例规格为例介绍如何在GPU云服务器上部署DeepSeek-V3.2系列模型。

背景信息

DeepSeek-V3.2

DeepSeek-V3.2是正式版通用模型，面向日常应用与通用 Agent。在 V3.2-Exp的基础上延续并优化了DeepSeek Sparse Attention（DSA）机制，融入大规模Agent训练数据与双模式工具调用能力，适配日常问答与真实场景工具使用需求。

DeepSeek-V3.2-Speciale

DeepSeek-V3.2-Speciale是长思考增强版模型，探索开源模型推理极限的研究导向版本。V3.2-Speciale在V3.2的基础上放宽了思维链长度限制，针对复杂逻辑推理、数学证明和专业竞赛任务进行了深度强化。

DeepSeek-V3.2-Exp

DeepSeek-V3.2-Exp是一个实验性版本，作为迈向新一代架构的中间步骤，它在V3.1-Terminus的基础上引入了DeepSeek稀疏注意力机制（DSA），对长文本的训练和推理效率进行了探索性优化与验证。

软件要求

NVIDIA驱动：

GPU驱动：用来驱动NVIDIA GPU的程序。本文以535.161.08为例。

运行环境：

SGLang框架：SGLang框架是一款专为大语言模型（LLMs）及视觉语言模型打造的高性能服务框架，通过协同设计前端结构化生成语言与后端运行时系统，实现与模型的高效交互，并保障了生成过程的可控性。

操作步骤

步骤一：准备环境

创建GPU计算型实例。

请根据通过向导购买实例指引，创建两台符合如下条件的实例：

配置项	推荐配置
基础配置
计算规格	ecs.hpcpni3ln.45xlarge 说明 ecs.hpcpni3ln.45xlarge规格实例正在邀测中，如需试用，请提交工单或联系客户经理申请。
镜像	Ubuntu 22.04 with GPU Driver 535.161.08 and doca 说明若您选用其他发行版本的镜像，需在创建实例后自行安装GPU驱动。
实例数量	2 说明本文创建的两台GPU实例，分别作为“Rank 0”、“Rank 1”。
存储	规格：吞吐型SSD TL0云盘容量：不低于1024 GiB 说明本文使用的DeepSeek-V3.2系列模型参数量为685 B，建议您配置云盘容量不低于1024 GiB。
网络配置
公网IP	勾选“分配弹性公网IP”。

安装依赖的软件、工具。

分别登录购买的两台GPU实例。了解更多。

在两台实例中分别执行如下命令，安装、配置Docker。

sudo apt update
sudo apt install ca-certificates curl gnupg lsb-release
sudo mkdir -p /etc/apt/keyrings
curl -fsSL https://mirrors.ivolces.com/docker/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://mirrors.ivolces.com/docker/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update
sudo apt install docker-ce docker-ce-cli containerd.io docker-compose-plugin -y

在两台实例中分别执行如下命令，安装NVIDIA Container Toolkit。

curl -s https://mirrors.ivolces.com/nvidia_all/ubuntu2204/x86_64/3bf863cc.pub | sudo apt-key add -
cat <<EOF >/etc/apt/sources.list.d/nvidia.list
deb http://mirrors.ivolces.com/nvidia_all/ubuntu2204/x86_64/ /
EOF
apt update
apt install nvidia-container-toolkit -y

在两台实例中分别执行如下命令配置Docker，使容器可以使用实例的GPU资源。

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

mkdir /data00

说明

请将/data00替换为实际目录名称。

（可选）初始化本地盘。

若您选用的实例规格搭配有本地盘，建议您执行如下命令将本地盘挂载到存储模型的目录“/data00”，提升模型加载速度。

mkfs -t ext4 /dev/nvme0n1
mount -t ext4 /dev/nvme0n1 /data00

说明

请将/dev/nvme0n1替换为实际本地盘名称。

请将ext4替换为您期望使用的文件系统。

步骤二：部署、运行模型

登录购买的2台GPU实例。了解更多。

下载模型文件。

执行如下命令，安装配置onion。

curl -fsSL https://mirrors.ivolces.com/extra-tools/ubuntu/GPG-KEY-system | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/volc-extra-tools.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/trusted.gpg.d/volc-extra-tools.gpg] http://mirrors.ivolces.com/extra-tools/ubuntu jammy main" > /etc/apt/sources.list.d/volctools.list && apt update && apt install -y onion-ai-data

cd /data00

执行如下命令，下载DeepSeek-V3.2模型。

oniond download model DeepSeek-V3.2

说明

本文以下载DeepSeek-V3.2模型为例，支持DeepSeek-V3.2、DeepSeek-V3.2-Speciale及DeepSeek-V3.2-Exp。

您也可以执行oniond list model命令，查看支持模型列表。

请根据实例所在地域，分别在2台GPU实例中执行如下命令，下载Docker镜像。

华北2（北京）
华东2（上海）

docker pull ai-containers-cn-beijing.cr.volces.com/deeplearning/sglang:community_v0.5.6

请根据实例所在地域，分别在2台GPU实例中执行如下命令，启动Docker容器。

华北2（北京）
华东2（上海）

docker run --gpus all -itd --net=host --shm-size=100g --ulimit memlock=-1 --ulimit stack=67108864 --privileged --ipc=host --security-opt seccomp=unconfined --cap-add=ALL -v /data00/:/data/ -v /var/run/nvidia-topologyd/:/var/run/nvidia-topologyd/ --entrypoint /bin/bash ai-containers-cn-beijing.cr.volces.com/deeplearning/sglang:community_v0.5.6

注意

请将/data00替换为模型实际存放目录路径。

执行如下命令，通过Docker日志确认容器及模型是否成功启动。

查看容器ID。

docker ps

查看对应容器的运行日志。

docker logs -f <CONTAINER_ID>

说明

请将<CONTAINER_ID>替换为实际容器ID。

启动模型服务。

执行如下命令，进入Docker容器。

docker exec -it <CONTAINER_ID> bash

说明

请将<CONTAINER_ID>替换为实际容器ID。

执行如下命令，在两台实例中分别执行以下命令启动DeepSeek-V3.2模型服务。

Rank 0（Master节点）
Rank 1

NCCL_IB_GID_INDEX=3 NCCL_IB_HCA=mlx5_ GLOO_SOCKET_IFNAME=eth0 NCCL_IB_DISABLE=0 NCCL_SOCKET_IFNAME=eth0 \
SGL_DISABLE_TP_MEMORY_INBALANCE_CHECK=1 \
NCCL_MIN_NCHANNELS=24 \
NCCL_IB_QPS_PER_CONNECTION=8 \
CUDA_CACHE_MAXSIZE=2147483648 python -m sglang.launch_server --tp 16 --dp 16 --enable-dp-attention --tool-call-parser deepseekv32 --reasoning-parser deepseek-v3 --cuda-graph-max-bs 32 --host 0.0.0.0 --port 8080 --dist-init-addr 192.168.0.167:12345 --nnodes 2 --node-rank 0 --model /data/DeepSeek-V3.2

说明
请将--dist-init-addr参数值替换为Rank 0节点实例的实际私网IP。
展示如下信息，则Rank 0服务启动成功。

参数说明：

如上命令以部署、启动DeepSeek-V3.2模型为例，如需部署、启动其他模型，可根据如下说明替换对应环境变量和参数值。

参数名称	参数类型	说明	取值示例
python -m sglang.launch_server	启动指令	通过Python模块方式启动sglang的模型服务端。说明非参数，是命令入口。	-
--model	路径 / 模型 ID	指定加载的LLM模型，取值： Hugging Face模型ID。本地模型路径。	/data/DeepSeek-V3.2
--tp	整数	配置张量并行度（Tensor Parallelism），默认值为 16。	16
--dp	整数	配置数据并行度（Data Parallelism），默认值为 8。	16
--enable-dp-attention	Bool开关	启用数据并行模式下的注意力计算优化。	-
--host	IP地址	指定服务绑定的主机地址。	0.0.0.0
--port	整数	指定服务监听的端口号，用于客户端连接。	8080
--dist-init-addr	IP: 端口	分布式集群的初始化地址（主节点地址），用于多节点通信同步。	192.168.0.2:10240
--nnodes	整数	指定分布式集群的总节点数，即参与服务的服务器数量。	2
--node-rank	整数	指定当前节点在集群中的序号，从0开始计数。	Rank 0：0 Rank 1：1

步骤三：调用模型

登录Rank 0节点实例，进入Docker容器。

执行如下命令调用模型，确保部署的模型可以正常进行推理。

curl -X POST http://0.0.0.0:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
"model": "DeepSeek-V3.2",
"messages": [
{
"role": "user",
"content": "介绍一下北京故宫"
}
],
"max_tokens": 500,
"temperature": 0.7
}'

若展示如下信息，则服务正常运行。

参数说明：

本文仅说明验证使用到的参数信息，更多参数详情可查看DeepSeek API文档。

参数名	说明	取值样例
model	使用的实际模型。	DeepSeek-V3.2
messages	对话的消息列表。 role：该消息的发起角色。 content：消息的内容。	-
max_tokens	指定一次请求中模型生成Completion的最大Token数。取值：介于1 到 8192 间的整数。默认值为 4096。	100
temperature	采样温度，值越高（例如1）会使输出更随机，而值越低（例如0.2）会使其更加集中和确定。取值：介于 0 和 2 之间。	0.7

常见问题

服务报错“torch.distributed.DistStoreError： Time out after 601 seconds waiting for clients.”如何处理？

问题原因：

由于模型服务启动后，两个node（节点）实例未在600 s内建立联系导致。

解决方案：

确保启动Docker容器和模型服务的命令中各参数均配置正确。

尽快在不同node实例中执行启动Docker容器和模型服务的命令，避免超时。

最近更新时间：2026.06.23 16:25:17

这个页面对您有帮助吗？

有用

无用