本文以2台ecs.hpcpni3ln.45xlarge实例为例，介绍如何在GPU云服务器上部署DeepSeek\-V4\-Pro模型。 ## 背景信息 DeepSeek\-V4\-Pro是DeepSeek\-V4预览版系列中的旗舰级大语言模型，采用稀疏混合专家（Mixture\-of\-Experts, MoE）架构，总参数量达1.6万亿（1.6 T），每次前向推理动态激活约49 B参数，在保持高性能的同时显著降低单Token推理成本。其最大推理强度模式DeepSeek\-V4\-Pro\-Max在数学、STEM、竞赛级编程等评测上超越此前全部公开的开源模型，并与主流闭源前沿模型处于同一性能区间，适用于复杂推理、长文档深度分析、多步Agent编排等前沿任务。 ## 软件要求 * NVIDIA驱动： GPU驱动：用来驱动NVIDIA GPU的程序，本文以`535.161.08`为例。 * 运行环境： SGLang框架：SGLang框架是一款专为大语言模型（Large Language Models，LLMs）及视觉语言模型打造的高性能服务框架，通过协同设计前端结构化生成语言与后端运行时系统，实现与模型的高效交互，并保障了生成过程的可控性。 ## 操作步骤 ### 步骤一：准备环境 1. 创建GPU计算型实例。请根据[通过向导购买实例](https://www.volcengine.com/docs/6396/67743)指引，创建2台符合如下条件的实例： |**配置项** |**推荐配置** | |---|---| |**基础配置** || |计算规格 |ecs.hpcpni3ln.45xlarge

说明

ecs.hpcpni3ln.45xlarge规格实例正在邀测中，如需试用，请提交工单或联系客户经理申请。

| |镜像

|Ubuntu 22.04 with GPU Driver 535.161.08 and doca

说明

若您选用其他发行版本的镜像，需在创建实例后自行安装GPU驱动。

| |实例数量 |2台

说明

本文创建的2台GPU实例，分别作为“节点0”、“节点1”。

| |存储 |* 规格：吞吐型SSD TL0云盘

* 容量：不低于2048 GiB

说明

本文使用的DeepSeek\-V4\-Pro模型参数量为1.6 T，建议您配置云盘容量不低于2048 GiB。

| |**网络配置** || |私有网络 |2台实例需处于同一私有网络。 | |公网IP |勾选“分配弹性公网IP”。 | 2. 安装依赖的软件、工具。 1. 依次登录2台GPU实例。[了解更多](https://www.volcengine.com/docs/6396/67747)。 2. 在2台GPU实例中，均执行如下命令，安装、配置Docker。 ```Bash sudo apt update sudo apt install ca-certificates curl gnupg lsb-release sudo mkdir -p /etc/apt/keyrings curl -fsSL https://mirrors.ivolces.com/docker/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://mirrors.ivolces.com/docker/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null sudo apt update sudo apt install docker-ce docker-ce-cli containerd.io docker-compose-plugin -y ``` 3. 在2台GPU实例中，均执行如下命令，安装NVIDIA Container Toolkit。 ```Bash curl -s https://mirrors.ivolces.com/nvidia_all/ubuntu2204/x86_64/3bf863cc.pub | sudo apt-key add - cat </etc/apt/sources.list.d/nvidia.list deb http://mirrors.ivolces.com/nvidia_all/ubuntu2204/x86_64/ / EOF apt update apt install nvidia-container-toolkit -y ``` 4. 在2台GPU实例中，均执行如下命令配置Docker，使容器可以使用实例的GPU资源。 ```Bash sudo nvidia-ctk runtime configure --runtime=docker sudo systemctl restart docker ``` 5. **（可选）** 初始化本地盘。若您选用的实例规格搭配有本地盘，建议您执行如下命令将本地盘挂载到存储模型的目录“/data00”，提升模型加载速度。 ```Bash mkfs -t ext4 /dev/nvme0n1 mount -t ext4 /dev/nvme0n1 /data00 ```

说明

请将/dev/nvme0n1替换为实际本地盘名称。

请将ext4替换为您期望使用的文件系统。

### 步骤二：部署、运行模型 1. 依次登录2台GPU实例。[了解更多](https://www.volcengine.com/docs/6396/67747)。 2. 下载模型文件。 1. 在2台GPU实例中，均执行如下命令，安装配置onion。 ```Bash curl -fsSL https://mirrors.ivolces.com/extra-tools/ubuntu/GPG-KEY-system | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/volc-extra-tools.gpg echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/trusted.gpg.d/volc-extra-tools.gpg] http://mirrors.ivolces.com/extra-tools/ubuntu jammy main" > /etc/apt/sources.list.d/volctools.list && apt update && apt install -y onion-ai-data ``` 2. 在2台GPU实例中，均执行如下命令，下载DeepSeek\-V4\-Pro\-0813模型并将其存放至目标目录。

说明

请将/data00替换为实际存放模型的目录。

您也可以执行oniond list model命令，查看支持模型列表。

```Bash oniond download model DeepSeek-V4-Pro-0813 --dir /data00 ``` 3. 请根据实例所在地域，在2台GPU实例中均执行如下命令，下载Docker镜像。华北2（北京） ```Bash docker pull ai-containers-cn-beijing.cr.volces.com/deeplearning/sglang:day0_deepseek_v4_official ``` 华东2（上海） ```Bash docker pull ai-containers-cn-shanghai.cr.volces.com/deeplearning/sglang:day0_deepseek_v4_official ``` 4. 请在“节点0”实例中执行如下命令，查看其主网卡名称与对应的私网IP地址，用于后续配置多节点间的分布式通信与网络互通。

说明

本文以主网卡名称eth0，对应私网IP地址172.31.38.23为例。

```Bash IFACE=$(ip route | awk '/^default/ {print $5; exit}') && \ echo "Primary NIC: $IFACE" && \ echo "Private IP: $(ip -4 addr show $IFACE | awk '/inet / {print $2}' | cut -d/ -f1)" ``` 回显如下所示时，表示“节点0”实例的主网卡名称为`eth0`，对应私网IP地址为`172.31.38.23`。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_dc94892c913f652cc2e0b6d8bbcb77f1.png) 5. 请根据实例所在地域，依次在2台GPU实例中执行对应命令，启动Docker容器与DeepSeek\-V4\-Pro模型服务。

说明

请将/data00替换为模型实际存放目录路径。

请将eth0替换为“节点0”实例实际主网卡名称。

请将172.31.38.23替换为“节点0”实例实际主网卡私网IP地址。

华北2（北京） * “节点0”实例 ```Bash docker run --gpus all -itd --net=host --shm-size=100g --ulimit memlock=-1 --ulimit stack=67108864 --privileged --ipc=host --security-opt seccomp=unconfined --cap-add=ALL -v /data00/:/data00/ -v /var/run/nvidia-topologyd/:/var/run/nvidia-topologyd/ -e SGLANG_ENABLE_THINKING=1 -e SGLANG_DSV4_FP4_EXPERTS=1 -e SGLANG_JIT_DEEPGEMM_PRECOMPILE=0 -e GLOO_SOCKET_IFNAME=eth0 -e NCCL_MIN_NCHANNELS=24 -e NCCL_IB_QPS_PER_CONNECTION=8 -e SGLANG_DSV4_COMPRESS_STATE_DTYPE=bf16 -e SGLANG_SHARED_EXPERT_TP1=1 --entrypoint "" ai-containers-cn-beijing.cr.volces.com/deeplearning/sglang:day0_deepseek_v4_official sglang serve --trust-remote-code --model-path /data00/DeepSeek-V4-Pro-0813 --tp 16 --dp-size 2 --enable-dp-attention --cuda-graph-max-bs 8 --max-running-requests 16 --enable-metrics --host 0.0.0.0 --port 8080 --mem-fraction-static 0.9 --moe-runner-backend marlin --dist-init-addr 172.31.38.23:30300 --nnodes 2 --tool-call-parser deepseekv4 --reasoning-parser deepseek-v4 --enable-dp-lm-head --trust-remote-code --kv-cache-dtype fp8_e4m3 --tokenizer-worker-num 16 --node-rank 0 ``` * “节点1”实例 ```Bash docker run --gpus all -itd --net=host --shm-size=100g --ulimit memlock=-1 --ulimit stack=67108864 --privileged --ipc=host --security-opt seccomp=unconfined --cap-add=ALL -v /data00/:/data00/ -v /var/run/nvidia-topologyd/:/var/run/nvidia-topologyd/ -e SGLANG_ENABLE_THINKING=1 -e SGLANG_DSV4_FP4_EXPERTS=1 -e SGLANG_JIT_DEEPGEMM_PRECOMPILE=0 -e GLOO_SOCKET_IFNAME=eth0 -e NCCL_MIN_NCHANNELS=24 -e NCCL_IB_QPS_PER_CONNECTION=8 -e SGLANG_DSV4_COMPRESS_STATE_DTYPE=bf16 -e SGLANG_SHARED_EXPERT_TP1=1 --entrypoint "" ai-containers-cn-beijing.cr.volces.com/deeplearning/sglang:day0_deepseek_v4_official sglang serve --trust-remote-code --model-path /data00/DeepSeek-V4-Pro-0813 --tp 16 --dp-size 2 --enable-dp-attention --cuda-graph-max-bs 8 --max-running-requests 16 --enable-metrics --host 0.0.0.0 --port 8080 --mem-fraction-static 0.9 --moe-runner-backend marlin --dist-init-addr 172.31.38.23:30300 --nnodes 2 --tool-call-parser deepseekv4 --reasoning-parser deepseek-v4 --enable-dp-lm-head --trust-remote-code --kv-cache-dtype fp8_e4m3 --tokenizer-worker-num 16 --node-rank 1 ``` 华东2（上海） * “节点0”实例 ```Bash docker run --gpus all -itd --net=host --shm-size=100g --ulimit memlock=-1 --ulimit stack=67108864 --privileged --ipc=host --security-opt seccomp=unconfined --cap-add=ALL -v /data00/:/data00/ -v /var/run/nvidia-topologyd/:/var/run/nvidia-topologyd/ -e SGLANG_ENABLE_THINKING=1 -e SGLANG_DSV4_FP4_EXPERTS=1 -e SGLANG_JIT_DEEPGEMM_PRECOMPILE=0 -e GLOO_SOCKET_IFNAME=eth0 -e NCCL_MIN_NCHANNELS=24 -e NCCL_IB_QPS_PER_CONNECTION=8 -e SGLANG_DSV4_COMPRESS_STATE_DTYPE=bf16 -e SGLANG_SHARED_EXPERT_TP1=1 --entrypoint "" ai-containers-cn-shanghai.cr.volces.com/deeplearning/sglang:day0_deepseek_v4_official sglang serve --trust-remote-code --model-path /data00/DeepSeek-V4-Pro-0813 --tp 16 --dp-size 2 --enable-dp-attention --cuda-graph-max-bs 8 --max-running-requests 16 --enable-metrics --host 0.0.0.0 --port 8080 --mem-fraction-static 0.9 --moe-runner-backend marlin --dist-init-addr 172.31.38.23:30300 --nnodes 2 --tool-call-parser deepseekv4 --reasoning-parser deepseek-v4 --enable-dp-lm-head --trust-remote-code --kv-cache-dtype fp8_e4m3 --tokenizer-worker-num 16 --node-rank 0 ``` * “节点1”实例 ```Bash docker run --gpus all -itd --net=host --shm-size=100g --ulimit memlock=-1 --ulimit stack=67108864 --privileged --ipc=host --security-opt seccomp=unconfined --cap-add=ALL -v /data00/:/data00/ -v /var/run/nvidia-topologyd/:/var/run/nvidia-topologyd/ -e SGLANG_ENABLE_THINKING=1 -e SGLANG_DSV4_FP4_EXPERTS=1 -e SGLANG_JIT_DEEPGEMM_PRECOMPILE=0 -e GLOO_SOCKET_IFNAME=eth0 -e NCCL_MIN_NCHANNELS=24 -e NCCL_IB_QPS_PER_CONNECTION=8 -e SGLANG_DSV4_COMPRESS_STATE_DTYPE=bf16 -e SGLANG_SHARED_EXPERT_TP1=1 --entrypoint "" ai-containers-cn-shanghai.cr.volces.com/deeplearning/sglang:day0_deepseek_v4_official sglang serve --trust-remote-code --model-path /data00/DeepSeek-V4-Pro-0813 --tp 16 --dp-size 2 --enable-dp-attention --cuda-graph-max-bs 8 --max-running-requests 16 --enable-metrics --host 0.0.0.0 --port 8080 --mem-fraction-static 0.9 --moe-runner-backend marlin --dist-init-addr 172.31.38.23:30300 --nnodes 2 --tool-call-parser deepseekv4 --reasoning-parser deepseek-v4 --enable-dp-lm-head --trust-remote-code --kv-cache-dtype fp8_e4m3 --tokenizer-worker-num 16 --node-rank 1 ``` **参数说明：** 如上命令以部署、启动DeepSeek\-V4\-Pro模型为例，如需部署、启动其他模型，可根据如下说明替换对应环境变量和参数值。 |参数名称 |说明 |取值示例 | |---|---|---| |\-\-trust\-remote\-code |允许加载模型仓库中的自定义代码。 |\- | |\-\-nnodes |指定分布式集群的总节点数，即参与服务的服务器数量。 |2 | |\-\-node\-rank |指定当前节点在集群中的序号，从`0`开始计数。 |0 | |\-\-dist\-init\-addr |指定多节点分布式使用的“节点0”实例的私网IP地址与端口号。格式为 `IP地址：端口号`。

* IP地址：建议配置为`0`号节点的私网IP地址。

* 端口号：节点间通信的端口号。 |172.31.38.23:30300 | |\-\-dp\-size |指定数据并行度（Data Parallelism）。 |16 | |\-\-tp |指定张量并行度（Tensor Parallelism）。 |16 | |\-\-mem\-fraction\-static |指定实例显存使用率上限，取值范围 `0` ~ `1`。过高可能导致 OOM/碎片化，过低则吞吐下降。 |0.95

| |\-\-max\-running\-requests |指定同时在引擎内并行的最大请求序列数。 |16 | 6. 在2台GPU实例中，均执行如下命令，通过Docker日志确认容器及模型是否成功启动。 1. 查看容器ID。 ```Bash docker ps ``` 2. 查看对应容器的运行日志。 ```Bash docker logs -f ```

说明

请将替换为实际容器ID。

### 步骤三：调用模型 1. [登录“节点0”实例](https://www.volcengine.com/docs/6396/67747)，进入其Docker容器。 2. 执行如下命令调用模型，确保部署的模型可以正常进行推理。 ```Bash curl -X POST http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{ "model": "deepseek-v4-fp8", "messages": [ { "role": "user", "content": "做一份北京出行攻略" } ], "max_tokens": 500, "temperature": 0.7 }' ``` 若展示如下信息，则服务正常运行。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_fb4e7e8f79a752f8b326f9e13b1ad245.png) **参数说明：** 本文仅说明验证使用到的参数信息。 |参数名 |说明 |取值样例 | |---|---|---| |model |使用的实际模型。 |deepseek\-v4\-fp8 | |messages |对话的消息列表。

* role：该消息的发起角色。

* content：消息的内容。 |\- | |max_tokens |指定一次请求中模型生成Completion的最大Token数。取值：

* 介于1 到 8192 间的整数。

* 默认值为 4096。 |100 | |temperature |采样温度，值越高（例如1）会使输出更随机，而值越低（例如0.2）会使其更加集中和确定。取值：介于 0 和 2 之间。 |0.7 |