本文以在ecs.hpcpni3ln.45xlarge实例规格中部署Qwen3.8\-27B\-FP8为例，介绍如何在GPU云服务器上部署、运行Qwen3.8 27B模型。 ## Qwen3.8 27B Qwen3.8 27B是Qwen3.8系列面向高效部署推出的高性能开放权重稠密模型。该模型基于Qwen3.5的架构基础构建，结合Gated DeltaNet与Gated Attention，总参数量为27B；原生支持图像与视频理解，并提供灵活的思考模式与推理深度控制。原生支持262K Token上下文，并可扩展至100万Token。 Qwen3.8 27B进一步强化了自主规划、环境反馈处理和复杂多步任务执行能力，面向复杂编码、专业知识工作、研究分析、多模态理解和长周期智能体任务等场景，在较紧凑的模型规模下兼顾能力与部署效率。[了解更多](https://qwenlm.github.io/blog/qwen3/) ## 软件要求 * NVIDIA驱动： GPU驱动：用来驱动NVIDIA GPU的程序，本文以`535.261.03`为例。 * 运行环境： SGLang：SGLang框架是一款专为大语言模型（LLMs）及视觉语言模型打造的高性能服务框架，通过协同设计前端结构化生成语言与后端运行时系统，实现与模型的高效交互，并保障了生成过程的可控性。本文以火山引擎提供的SGLang容器镜像为例。 ## 操作步骤 ### 步骤一：准备环境 1. 创建GPU计算型实例。请根据[通过向导购买实例](https://www.volcengine.com/docs/6396/67743)指引，创建**1**台符合如下条件的实例： |配置项 |推荐配置 | |---|---| |**基础配置** || |计算规格 |ecs.hpcpni3ln.45xlarge

说明

暂仅支持在如下邀测规格实例中部署Qwen3.8\-27B\-FP8模型，如需试用，请提交工单或联系客户经理申请。

高性能计算GPU型ebmhpcpni3ln

高性能计算GPU型ebmhpcpni3l

高性能计算GPU型hpcpni3le

高性能计算GPU型hpcpni3h

| |镜像 |Ubuntu 22.04 ，并勾选“后台自动安装GPU驱动”安装`535.261.03`版本GPU驱动。

![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_d46f955640f2abf5a6054df4779b1707.png)

说明

若您选用其他发行版本的镜像，需在创建实例后自行安装GPU驱动。

| |存储 |* 规格：吞吐型SSD TL0云盘

* 容量：不低于512 GiB | |**网络配置** || |弹性公网IP |勾选“分配弹性公网IP”。 | 2. [登录目标实例](https://www.volcengine.com/docs/6396/67747)。 1. 执行如下命令，安装、配置Docker。 ```Bash sudo apt update sudo apt install ca-certificates curl gnupg lsb-release sudo mkdir -p /etc/apt/keyrings curl -fsSL https://mirrors.ivolces.com/docker/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://mirrors.ivolces.com/docker/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null sudo apt update sudo apt install docker-ce docker-ce-cli containerd.io docker-compose-plugin -y ``` 2. 执行如下命令，安装NVIDIA Container Toolkit。 ```Bash curl -s https://mirrors.ivolces.com/nvidia_all/ubuntu2204/x86_64/3bf863cc.pub | sudo apt-key add - cat </etc/apt/sources.list.d/nvidia.list deb http://mirrors.ivolces.com/nvidia_all/ubuntu2204/x86_64/ / EOF sudo apt update sudo apt install -y nvidia-container-toolkit ``` 3. 执行如下命令配置Docker，使容器可以使用实例的GPU资源。 ```Bash sudo nvidia-ctk runtime configure --runtime=docker sudo systemctl restart docker ``` 3. 执行如下命令，创建存储模型的目录。 ```Bash mkdir /data00 ```

说明

本文以创建/data00目录为例，请按需调整。

4. **（可选）** 初始化本地盘。若您选用的实例规格搭配有本地盘，建议您执行如下命令将本地盘挂载到存储模型的目录“/data00”，提升模型加载速度。 ```Bash mkfs -t ext4 /dev/nvme0n1 mount -t ext4 /dev/nvme0n1 /data00 ```

说明

请将/dev/nvme0n1替换为实际本地盘名称。

请将ext4替换为您期望使用的文件系统。

### 步骤二：部署、运行模型 1. [登录目标实例](https://www.volcengine.com/docs/6396/67747)。 2. 请根据实例所在地域，选择并执行对应命令，下载Docker镜像。华北2（北京） ```Bash docker pull ai-containers-cn-beijing.cr.volces.com/deeplearning/sglang:v0.5.17.iaas.dev.202608170000-qwen38-27b-cu130 ``` 华东2（上海） ```Bash docker pull ai-containers-cn-shanghai.cr.volces.com/deeplearning/sglang:v0.5.17.iaas.dev.202608170000-qwen38-27b-cu130 ``` 3. 请根据实例所在地域，选择并执行对应命令，下载模型文件。

说明

建议您选择容量较大的磁盘目录存放模型文件，本文以/data00为例，请将其替换为实际目录路径。

华北2（北京） ```Bash docker run --rm \ -v /data00/:/data00 \ --workdir /data00 \ --entrypoint bash \ ai-containers-cn-beijing.cr.volces.com/deeplearning/sglang:v0.5.17.iaas.dev.202608170000-qwen38-27b-cu130 \ -lc ' set -e if ! command -v oniond >/dev/null 2>&1; then apt update apt install -y ca-certificates curl gnupg gpg curl -fsSL https://mirrors.ivolces.com/extra-tools/ubuntu/GPG-KEY-system | gpg --dearmor -o /etc/apt/trusted.gpg.d/volc-extra-tools.gpg echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/trusted.gpg.d/volc-extra-tools.gpg] http://mirrors.ivolces.com/extra-tools/ubuntu jammy main" > /etc/apt/sources.list.d/volctools.list apt update apt install -y onion-ai-data fi export BUCKET=ai-infra oniond download model Qwen3.8-27B-FP8 --turbo --dir /data00 ' ``` 华东2（上海） ```Bash docker run --rm \ -v /data00/:/data00 \ --workdir /data00 \ --entrypoint bash \ ai-containers-cn-shanghai.cr.volces.com/deeplearning/sglang:v0.5.17.iaas.dev.202608170000-qwen38-27b-cu130 \ -lc ' set -e if ! command -v oniond >/dev/null 2>&1; then apt update apt install -y ca-certificates curl gnupg gpg curl -fsSL https://mirrors.ivolces.com/extra-tools/ubuntu/GPG-KEY-system | gpg --dearmor -o /etc/apt/trusted.gpg.d/volc-extra-tools.gpg echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/trusted.gpg.d/volc-extra-tools.gpg] http://mirrors.ivolces.com/extra-tools/ubuntu jammy main" > /etc/apt/sources.list.d/volctools.list apt update apt install -y onion-ai-data fi export BUCKET=ai-infra oniond download model Qwen3.8-27B-FP8 --turbo --dir /data00 ' ``` 4. 请根据实例所在地域，选择并执行对应命令，启动Docker容器。

注意

请将 /data00/Qwen3.8-27B-FP8 替换为模型实际存放目录路径。

华北2（北京） ```Bash docker run -d --name qwen38-serve \ --gpus all \ --ipc=host \ --network host \ -v /data00:/data00 \ --env SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 \ ai-containers-cn-beijing.cr.volces.com/deeplearning/sglang:v0.5.17.iaas.dev.202608170000-qwen38-27b-cu130 \ sglang serve \ --model-path /data00/Qwen3.8-27B-FP8 \ --tp-size 1 \ --context-length 1010000 \ --json-model-override-args '{"rope_parameters":{"rope_type":"yarn","rope_theta":10000000,"partial_rotary_factor":0.25,"factor":4.0,"original_max_position_embeddings":262144}}' \ --host 0.0.0.0 \ --port 30000 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder ``` 华东2（上海） ```Bash docker run -d --name qwen38-serve \ --gpus all \ --ipc=host \ --network host \ -v /data00:/data00 \ --env SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 \ ai-containers-cn-shanghai.cr.volces.com/deeplearning/sglang:v0.5.17.iaas.dev.202608170000-qwen38-27b-cu130 \ sglang serve \ --model-path /data00/Qwen3.8-27B-FP8 \ --tp-size 1 \ --context-length 1010000 \ --json-model-override-args '{"rope_parameters":{"rope_type":"yarn","rope_theta":10000000,"partial_rotary_factor":0.25,"factor":4.0,"original_max_position_embeddings":262144}}' \ --host 0.0.0.0 \ --port 30000 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder ``` **参数说明：** 如上命令以部署、启动Qwen3.8\-27B\-FP8模型为例，如需部署、启动其他模型，可根据如下说明替换对应环境变量和参数值。 |**参数名称** |**参数类型** |**说明** |**取值示例** | |---|---|---|---| |**服务入口与分布式参数** |||| |sglang serve |启动指令 |通过SGLang CLI启动模型服务端。

说明

该内容是命令入口，而非参数。

|\- | |\-\-model\-path |路径/模型ID |指定加载的LLM模型，支持Hugging Face模型ID或本地模型路径。 |/data00/Qwen3.8\-27B\-FP8 | |\-\-host |IP 地址 |指定服务绑定的主机地址。 |0.0.0.0 | |\-\-port |整数 |指定服务监听端口，用于客户端连接。 |30000 | |**LM 上下文扩展**

Qwen3.8\-27B\-FP8默认按约**262K ** Token上下文启动，本文在启动命令中通过如下参数显式配置上下文长度和RoPE外推参数，启用约**1M** Token的长上下文能力。 |||| |SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN |环境变量 |是否允许`context-length`超过模型原生最大长度（262144），通过 `docker run --env` 命令配置。取值：

* `1`：允许。启用**1M** Token的长上下文能力时需配置该值。

* `0`：不允许。 |1 | |\-\-context\-length |整数 |上下文窗口长度，默认值为`262144`。

本文启用1M Token的长上下文能力，需配置为`1010000`。 |1010000 | |\-\-json\-model\-override\-args |JSON 字符串 |覆盖模型配置。

本文启用 1M 上下文能力，可通过本参数注入YaRN位置编码缩放参数`factor 4.0`，`factor 4.0` = 262144 × 4 = 1048576，覆盖101万目标长度。 |{"rope_parameters":{"rope_type":"yarn","rope_theta":10000000,"partial_rotary_factor":0.25,"factor":4.0,"original_max_position_embeddings":262144}} | 5. 执行如下命令，通过Docker日志确认容器及模型是否成功启动。 1. 查看容器ID。 ```Bash docker ps ``` 2. 查看对应容器的运行日志。 ```Bash docker logs ```

说明

请将替换为实际容器ID。

### 步骤三：调用模型 1. [登录目标实例](https://www.volcengine.com/docs/6396/67747)。 2. 执行如下命令调用模型，确保部署的模型可以正常进行推理。 ```Plain Text curl -X POST http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" -d '{ "model": "/data00/Qwen3.8-27B-FP8", "messages": [ { "role": "user", "content": "请直接回答：1+1等于几？" } ], "max_tokens": 2048, "temperature": 0 }' ``` ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_2057b1a263466fff988b1731af6d863d.png) **参数说明：** 本文仅说明验证使用到的参数信息，更多参数详情可查看[Qwen3官方文档](https://qwenlm.github.io/blog/qwen3/)。 |参数名 |说明 |取值样例 | |---|---|---| |model |使用的模型名称。 |/data/Qwen3\-32B | |messages |对话的消息列表。

* role：该消息的发起角色。

* content：消息的内容。 |\- | |max_tokens |指定一次请求中模型生成Completion的最大Token数。取值：

* 介于`1`到`8192` 间的整数。

* 默认值为`4096`。 |100 | |temperature |采样温度，值越高（例如1）会使输出更随机，而值越低（例如0.2）会使其更加集中和确定。取值介于`0`和`2`之间。 |0.7 |