文档中心

GPU云服务器

Qwen系列模型

GPU-部署Qwen3模型

本文以在ecs.pni3l.11xlarge实例规格中部署Qwen3-32B为例，介绍如何在GPU云服务器上部署、运行Qwen3模型。

Qwen3

Qwen3是Qwen系列新一代的大语言模型，它包含了一系列全尺寸稠密与混合专家（MoE）模型。基于大规模的广泛训练，Qwen3在数学、代码生成和常识逻辑推理能力上，相较于先前发布的QwQ以及Qwen2.5模型均有显著提升。Qwen3还支持思考模式和非思考模式的无缝切换，简单问题快速解答节省资源，复杂问题深入思考给出更优解，确保其在各个场景下均能获得最佳性能。此外，Qwen3还扩展了对多种语言和方言的支持，具有强大的多语言理解、推理、指令跟随和生成能力。了解更多。

软件要求

NVIDIA驱动：

GPU驱动：用来驱动NVIDIA GPU的程序，本文以535.161.08为例。

运行环境：

SGLang：SGLang是一个用于大型语言模型和视觉语言模型的快速服务框架，本文以v0.5.2版本为例。

操作步骤

步骤一：准备环境

创建GPU计算型实例。

请根据通过向导购买实例指引，创建一台符合如下条件的实例：

配置项	推荐配置
基础配置
计算规格	ecs.pni3l.11xlarge 说明若您期望部署不同参数规模的Qwen3模型，可参考如下推荐选用实例： Qwen3-8B：推荐选用ecs.gni3cg.5xlarge、ecs.gni3cl.5xlarge规格。 Qwen3-14B：推荐选用ecs.gni3cg.5xlarge、ecs.gni3cl.5xlarge、ecs.pni3l.5xlarge规格。 Qwen3-32B：推荐选用ecs.pni3l.11xlarge规格。 Qwen3-30B-A3B：推荐选用ecs.pni3l.11xlarge规格。 Qwen3-Next-80B-A3B-Instruct：推荐选用ecs.hpcpni3ln.45xlarge规格。 Qwen3-Next-80B-A3B-Thinking：推荐选用ecs.hpcpni3ln.45xlarge规格。 Qwen3-235B-A22B：推荐选用ecs.hpcpni3ln.45xlarge、ecs.ebmhpcpni2l.32xlarge规格。 Qwen3-235B-A22B-Instruct-2507：推荐选用ecs.hpcpni3ln.45xlarge、ecs.ebmhpcpni2l.32xlarge规格。 Qwen3-235B-A22B-Instruct-2507-FP8：推荐选用ecs.hpcpni3ln.45xlarge、ecs.ebmhpcpni2l.32xlarge规格。 ecs.gni3cg、ecs.gni3cl、ecs.pni3l、ecs.hpcpni3ln、ecs.ebmhpcpni2l规格实例正在邀测中，如需试用，请提交工单或联系客户经理申请。
镜像	Ubuntu 22.04 with GPU Driver 535.161.08 and doca 说明若您选用其他发行版本的镜像，需在创建实例后自行安装GPU驱动。
存储	规格：吞吐型SSD TL0云盘容量：不低于 200 GiB 说明本文使用的Qwen3-32B模型参数量为32 B，您可以根据实际部署的模型参数量级调整云盘容量。推荐配置如下： Qwen3-8B、Qwen3-14B：不低于100 GiB Qwen3-32B、Qwen3-30B-A3B：不低于200 GiB Qwen3-Next-80B-A3B：不低于400 GiB Qwen3-235B-A22B：不低于700 GiB
网络配置
弹性公网IP	勾选“分配弹性公网IP”。

登录目标实例。

执行如下命令，安装、配置Docker。

sudo apt update
sudo apt install ca-certificates curl gnupg lsb-release
sudo mkdir -p /etc/apt/keyrings
curl -fsSL https://mirrors.ivolces.com/docker/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://mirrors.ivolces.com/docker/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update
sudo apt install docker-ce docker-ce-cli containerd.io docker-compose-plugin -y

执行如下命令，安装NVIDIA Container Toolkit。

curl -s https://mirrors.ivolces.com/nvidia_all/ubuntu2204/x86_64/3bf863cc.pub | sudo apt-key add -
cat <<EOF >/etc/apt/sources.list.d/nvidia.list
deb http://mirrors.ivolces.com/nvidia_all/ubuntu2204/x86_64/ /
EOF
apt update
apt install nvidia-container-toolkit -y

执行如下命令配置Docker，使容器可以使用实例的GPU资源。

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

mkdir /data00

说明

本文以创建/data00目录为例，请按需调整。

（可选）初始化本地盘。

若您选用的实例规格搭配有本地盘，建议您执行如下命令将本地盘挂载到存储模型的目录“/data00”，提升模型加载速度。

mkfs -t ext4 /dev/nvme0n1
mount -t ext4 /dev/nvme0n1 /data00

说明

请将/dev/nvme0n1替换为实际本地盘名称。

请将ext4替换为您期望使用的文件系统。

步骤二：部署、运行模型

登录目标实例。

下载模型文件。

执行如下命令，安装配置onion。

curl -fsSL https://mirrors.ivolces.com/extra-tools/ubuntu/GPG-KEY-system | sudo gpg --dearmor -o /etc/apt/trusted.gpg.d/volc-extra-tools.gpg

echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/trusted.gpg.d/volc-extra-tools.gpg] http://mirrors.ivolces.com/extra-tools/ubuntu jammy main" > /etc/apt/sources.list.d/volctools.list && apt update && apt install -y onion-ai-data

cd /data00

说明

建议您选择容量较大的磁盘目录存放模型文件，本文以/data00为例，请将其替换为实际目录路径。

执行如下命令，通过onion工具下载Qwen3-32B模型。

oniond download model Qwen3-32B

说明

本文以下载Qwen3-32B模型为例，请按需将Qwen3-32B替换为目标Qwen3模型名称。支持：Qwen3-8B、Qwen3-14B、Qwen3-32B、Qwen3-30B-A3B、Qwen3-Next-80B-A3B-Instruct、Qwen3-Next-80B-A3B-Thinking、Qwen3-235B-A22B、Qwen3-235B-A22B-Instruct-2507、Qwen3-235B-A22B-Instruct-2507-FP8。

您也可以执行oniond list model命令，查看支持模型列表。

请根据实例所在地域，执行如下命令下载Docker镜像。

华北2（北京）
华东2（上海）

docker pull ai-containers-cn-beijing.cr.volces.com/deeplearning/sglang:community_v0.5.2

请根据实例所在地域，执行如下命令，启动Docker容器。

华北2（北京）
华东2（上海）

docker run --gpus all -itd --net=host --shm-size=100g --ulimit memlock=-1 --ulimit stack=67108864 --privileged --ipc=host --security-opt seccomp=unconfined --cap-add=ALL -v /data00/:/data/ -v /var/run/nvidia-topologyd/:/var/run/nvidia-topologyd/ --entrypoint /bin/bash ai-containers-cn-beijing.cr.volces.com/deeplearning/sglang:community_v0.5.2

注意

请将/data00替换为模型实际存放目录路径。

执行如下命令，通过Docker日志确认容器及模型是否成功启动。

查看容器ID。

docker ps

查看对应容器的运行日志。

docker logs <CONTAINER_ID>

说明

请将<CONTAINER_ID>替换为实际容器ID。

启动模型服务。

执行如下命令，进入Docker容器。

docker exec -it <CONTAINER_ID> bash

说明

请将<CONTAINER_ID>替换为实际容器ID。

cd sglang/python/

执行如下命令，启动Qwen3-32B模型服务。

NCCL_MIN_NCHANNELS=24 NCCL_IB_QPS_PER_CONNECTION=8 SGLANG_USE_MODELSCOPE=1 python3 -m sglang.launch_server --model-path /data/Qwen3-32B/ --tensor-parallel-size 2 --reasoning-parser qwen3

参数说明：

如上命令以部署、启动Qwen3-32B模型为例，如需部署、启动其他模型，可根据如下说明替换对应环境变量和参数值。

参数名	说明	取值样例
NCCL_MIN_NCHANNELS	NCCL在多GPU通信时使用的最小通道数，默认值24。	24
NCCL_IB_QPS_PER_CONNECTION	NCCL在IB网络中每个连接的每秒请求数，默认值8。	8
SGLANG_USE_MODELSCOPE	控制是否启用基于ModelScope的模型加载或服务功能。取值： 1：默认值，启用。 0：不启用。	1
model-path	容器内模型存储路径。	/data/Qwen3-32B/
tensor-parallel-size	Tensor Parallelism并行度，默认值8。说明建议您配置为2。	2

步骤三：调用模型

登录运行模型服务的目标实例。

执行如下命令调用模型，确保部署的模型可以正常进行推理。

curl -X POST http://0.0.0.0:30000/v1/chat/completions -H "Content-Type: application/json" -d '{
"model": "/data/Qwen3-32B",
"messages": [
{
"role": "user",
"content": "请证明一下黎曼猜想"
}
],
"max_tokens": 100,
"temperature": 0.7
}'

参数说明：

本文仅说明验证使用到的参数信息，更多参数详情可查看Qwen3官方文档。

参数名	说明	取值样例
model	使用的模型名称。	/data/Qwen3-32B
messages	对话的消息列表。 role：该消息的发起角色。 content：消息的内容。	-
max_tokens	指定一次请求中模型生成Completion的最大Token数。取值：介于1到8192 间的整数。默认值为4096。	100
temperature	采样温度，值越高（例如1）会使输出更随机，而值越低（例如0.2）会使其更加集中和确定。取值介于0和2之间。	0.7

最近更新时间：2026.06.23 16:25:17

这个页面对您有帮助吗？

有用

无用