容器服务
容器服务
文档指南
请输入
- 文档首页
容器服务AI 云原生推理套件Helm 模板 AI 应用Deepseek 实践快速部署基于 xLLM 的 DeepSeek-V3/R1 满血版（PD 分离）
复制全文
下载 pdf快速部署基于 xLLM 的 DeepSeek-V3/R1 满血版（PD 分离）
文档反馈
问问助手本文主要介绍使用容器服务（VKE）快速部署基于 xLLM 的 DeepSeek-R1 或 DeepSeek-V3 满血版模型推理服务。
方案介绍
本方案提供在 Kubernetes 集群中实现 DeepSeek-R1 或 DeepSeek-V3 大语言模型的 Prefill-Decode（PD）分离部署。
- DeepSeek-V3 模型：由中国 AI 初创公司深度求索（DeepSeek）发布，通用大语言大模型（MoE 结构，671B 参数，激活参数 37B），在 14.8T token 上进行了预训练，可以提供信息检索、数据分析、自然语言处理等服务，能够适应多种应用场景，如客户服务、教育辅导、内容创作等。
- DeepSeek-R1 模型：由中国 AI 初创公司深度求索（DeepSeek）发布，R1 模型基于 DeepSeek-V3-Base 训练的推理模型，擅长数学、代码和自然语言推理，凭借开源、算法创新及高性价比获得广泛关注。
- xLLM 引擎：由火山方舟全自研的高效推理框架，支持 PD 分离、弹性扩缩等特性，性能显著领先开源框架。
- PD 分离技术：将推理过程分为两阶段，部署于不同硬件资源以优化性能：
- Prefill（预填充）：计算密集型阶段。
- Decode（解码）：显存密集型阶段。
方案核心优势：
- 资源利用优化：分离适配 Prefill 密集计算与 Decode 稀疏计算。
- 提高吞吐量：Prefill 处理新请求时，Decode 可并行处理旧请求解码任务。
- 降低延迟：减少并发请求等待时间，提升整体效率。
部署信息
- 模型：DeepSeek-V3-671B、DeepSeek-R1-671B
- 推理引擎：xLLM
- 实例规格：ecs.hpcpni3ln.45xlarge
- Prefill：推荐规格 * 1 台
- Decode：推荐规格 * 1 台
支持能力
- 并行策略：PD 分离、DP+TP+EP
- 观测：托管 Prometheus（VMP）
- 访问：API 网关（APIG）
性能评估
开源场景与该模版优化后的效果对比如下表所示。
说明
性能结果与机器规格、分发配置、网络带宽等相关，最终以实际测试结果为准。
对比类别 | 开源 | 优化后 |
推理引擎 | SGLang（开源版） | xLLM（火山引擎自研） |
Input/Output | 3500/1500 | 3500/1500 |
TTFT（ms） | <=5000 | <=5000 |
TPOT（ms） | <=50 | <=50 |
并行策略 | TP | PD 分离、DP+TP+EP |
单卡吞吐 TPS | 167.4 | 669 |
使用说明
- 本实践涉及较多组件，相互间有依赖，配置复杂，为了获得符合预期的结果，请务必根据本文指引操作。
- 为了获得符合预期的结果，同时符合容器服务的 使用限制，请按照本文方案（或在本文推荐的资源上）操作。如需替换方案，您可以联系对应的火山引擎客户经理咨询。
- 请勿使用 mGPU 对 GPU 进行切分。
- 完整的部署流程，依赖部分火山引擎邀测能力，请联系火山引擎客户经理申请如下功能的邀测试用：
-
前提条件
创建高性能计算集群
说明
高性能集群所在的 地域和可用区 需要与 VKE 节点的 地域和可用区 一致。
创建 VKE 集群
- 在容器服务中创建集群，需要注意以下列举的参数配置。其余参数说明和详细的操作步骤，请参见 创建集群。您也可以使用 异构计算托管集群模板 快速创建本场景使用的 VKE 集群。
- 配置项说明集群配置Kubernetes 版本选择 v1.28 及以上版本。容器网络模型选择 VPC-CNI。节点池配置托管节点池开启 托管节点池。可用区与 高性能计算集群 所在的可用区相同。计算规格选择已申请邀测的高性能计算 GPU 型ecs.hpcpni3ln规格。高性能计算集群选择之前创建的高性能计算集群。节点数量2 个。数据盘配置如下两个数据盘：
- 极速型 SSD：规格选 1024 GiB，性能级别选择默认值 PL0。
- 本地盘 SSD：指定挂载目录为/data01。
节点标签 (Labels)通过 VKE 部署 DeepSeek 模型时，需设置节点标签来配置 RDMA 使用模式。标签键设置为：vke.node.rdma.mode，标签值设置为：shared（共享）。Kubelet 自定义参数通过 VKE 部署 DeepSeek 模型时，需通过 Kubelet 自定义参数配置 RDMA 设备的 NUMA 亲和策略。参数选择：topology-manager-policy，参数值选择：best-effort。组件配置nvidia-device-plugin（必装）NVIDIA 设备驱动，支持在容器里使用 GPU 显卡设备的管理组件。rdma-device-plugin（必装）支持 RDMA 网卡设备的管理，提供 Pod Container 使用 RDMA 设备能力。apig-controller（必装）API 网关控制器，提供云原生的 AI 网关能力，根据不同策略完成推理流量的智能负载均衡。csi-ebs（必装）支持容器集群使用存储服务的标准 CSI 接口实现。prometheus-agent（必装）托管 Prometheus 监控组件，采集 Kubernetes 集群监控指标数据到火山引擎托管 Prometheus 服务（VMP）。apmplus-opentelemetry-collector（暂不支持）采集 OpenTelemetry 数据和 Prometheus 指标并发送至应用性能监控全链路版（APMPlus）。apmplus-server-agent（暂不支持）采集服务和主机监控数据并发送至 APMPlus。cr-credential-controller（推荐安装）免密拉取镜像仓库（CR）镜像，简化部署操作。keda（推荐安装）基于 Kubernetes 的事件驱动的弹性伸缩器。基于复杂指标完成推理服务的弹性伸缩任务。vci-virtual-kubelet（推荐安装）利用弹性容器实例部署系统组件等 CPU 工作负载，免运维且不占用 GPU 节点计算资源。
- 成功创建 VKE 集群和节点后，为节点对应的 ECS 实例绑定公网 IP（EIP）。详细操作，请参见 绑定公网IP。
- 在本地执行以下命令将 xLLM License 上传到本方案涉及的所有 GPU 节点上。
说明
其中：
- 将[your_ip_address]替换为您 GPU 节点的 EIP。
- [your_ip_address]只能填写一个 IP 地址，有多个 GPU 节点时需要多次执行该命令。
-
操作步骤
步骤一：部署应用
- 登录 容器服务控制台。
- 在左侧导航栏，选择 应用中心 > 应用模板。
- 在 应用模板 页面，找到 deepseek-v3-xllm-pd 或 deepseek-r1-xllm-pd 应用模板，单击 立即部署。
- 在 部署应用 页面，配置 deepseek-v3-xllm-pd 或 deepseek-r1-xllm-pd 服务参数。
- 配置项说明编排模板应用模板选择 deepseek-v3-xllm-pd 或 deepseek-r1-xllm-pd 的 Chart 版本，建议选择最新版本。参数配置deepseek-v3-xllm-pd 或 deepseek-r1-xllm-pd 的配置方法。单击编辑图标，编辑values.yaml文件，并按照如下 YAML 文件参数说明 表格内容更新 YAML 文件。名称根据界面提示的命名要求，自定义应用名称。部署环境集群选择 前提条件 中创建的 VKE 集群。命名空间自定义选择目标集群下的命名空间。协议阅读了解协议内容后勾选协议。
- YAML 文件参数说明：
-
- 单击 确定，部署完成应用。
- 应用部署完成后会显示在 Helm 应用 页面。选择目标项目、集群、命名空间，找到已部署的 deepseek-v3-xllm-pd 或 deepseek-r1-xllm-pd 应用，单击名称，进入详情页面查看该应用的基本信息、关联创建的工作负载、服务、其他资源等。
-
说明
其中，<应用名称>-<模板名称>-httpsvc格式的服务是该应用对外暴露的服务（Service）名称，后续配置路由、模型验证等步骤，需要关联该服务。
步骤二：配置路由
通过 APIG Ingress 配置模型路由。APIG Ingress 基于火山引擎 API 网关（API Gateway，APIG） 提供托管的云原生网关功能，实现高可用、高扩展的 Ingress 流量管理方式，满足在云原生应用场景下对业务流量稳定性和高可用性的需求。
- 在集群管理页面的左侧导航栏中，选择 服务与路由 > 路由规则，单击 创建路由规则。使用 API 网关对外暴露集群内的模型服务。部分参数按如下说明配置，其余配置详情，请参见 通过控制台创建 APIG Ingress。
- 配置项说明基本配置命名空间选择部署 deepseek-v3-xllm-pd 或 deepseek-r1-xllm-pd 应用模板的命名空间，用于关联该应用对外暴露的服务。Ingress 配置Ingress 类型选择 云原生 API 网关。网关 APIG 规格配置网关规格可以选择 自动创建，也可以选择 使用已有 APIG 实例。说明使用 API 网关暴露集群中的模型服务时，建议配置如下参数或功能（部分参数仅 APIG 控制台支持配置，VKE 控制台无相关配置）：
- 实例规格：建议选择 4c8g 规格，默认双可用区高可用。
- 熔断： 当某些 GPU 实例出现异常时，一般会希望尽快将故障实例下线，避免故障持续。同时希望能够保留故障现场为后续进一步排查提供依据。 可以通过配置网关的熔断规则，将出现故障的实例进行隔离。
- 可观测性：在 VKE 控制台上创建的 API 网关实例，默认情况下未开启监控告警和日志功能。如有需要，建议您在 API 网关控制台 中开启对应实例的日志和监控告警能力。
- 实例监控：能够帮助您从入口网关层面及时发现整个系统链路上的非预期现象。例如：后端不健康、后端 Crash 等，在 API 网关会报503错误码，以及具体的错误详情。
- 实例日志：从访问日志里能够查看请求错误详情、请求耗时、请求在后端各个 Pod 的分布等详情。
后端 Upstream负载均衡算法 建议配置为 轮询。在后端负载近似均衡的前提下，更适用于后端升级变更的场景。监听配置协议转发配置域名填写需要暴露的 Ingress 域名。后续该域名的 A（Address）记录需要配置当前 Ingress 创建成功后生成的公网 IP 地址或者私网 IP 地址。服务选择部署 deepseek-v3-xllm-pd 或 deepseek-r1-xllm-pd 应用模板时，关联创建的<应用名称>-<模板名称>-httpsvc格式名称的服务，端口号设置为 80。
- （可选）配置 API 网关认证鉴权。
- 登录 API 网关控制台。
- 创建消费者：在左侧导航栏选择 消费者管理，单击 创建消费者。
- 生成 API-KEY ：在消费者列表中，单击目标消费者名称，进入消费者详情页面。在 API Key 信息区域，单击 生成 API Key。
-
- 在弹出的对话框内容选择 自动创建 API Key 认证信息。
-
- 单击 确定，生成 API Key 认证信息。
-
- 启用 Key Auth 插件：在左侧导航栏选择 插件管理 > Key Auth插件，单击 创建插件，配置插件参数。
- 生效级别：选择 路由级别，并配置插件所属实例、服务和路由。
- 认证配置：选择 header，并配置来源为 Authorization，表示在请求头中的 Authorization 附带 API Key 认证信息。
- 消费者：选择步骤一中创建的消费者。
- 其他配置保持缺省。
- 获取 Ingress 地址。
-
- VIP：包含公网访问 IP 和私网访问 IP。
- 后端服务：包含后端服务名称和访问域名。
- 配置域名解析。
- 在本机上可以配置 IP 和域名的解析进行测试。
- 在生产环境，请在域名提供商中配置 Ingress 的访问域名，且确保 Ingress 访问域名的 A 记录已配置 Ingress 的公网 IP 地址或者私网 IP 地址。
步骤三：开启观测配置
- 开启云原生观测后，xLLM 的指标会被采集到 VMP，您可以在VMP 服务控制台 预置面板查看 xLLM 监控。
- 搜索xllm，可查看到如下所示 xLLM 看板。
-
- （可选）使用 Grafana 查看 xLLM 监控。
- 如果希望使用 Grafana 查看 xLLM 的监控图表，可自行部署 Grafana 或者导入面板到自建 Grafana。
- 参考 在容器服务集群中部署 Grafana 并接入工作区 内容搭建 Grafana 服务。
- 登录 Grafana ，选择导入看板。
- 导入后效果如下图所示。
-
模型验证
方式一：通过 Service 方式访问
部署 deepseek-v3-xllm-pd 或 deepseek-r1-xllm-pd 应用模板后，关联创建的<应用名称>-<模板名称>-httpsvc格式名称的服务，提供 HTTP API 端点（80 端口）。使用服务端点，可以按照 OpenAI 兼容 API 方式去调用。
示例代码如下所示。
说明
其中：
- 将localhost:80替换为您<应用名称>-<模板名称>-httpsvc服务的端点。
- content参数的值，输入您与模型的对话内容。
您可以在 deepseek-v3-xllm-pd 或 deepseek-r1-xllm-pd 应用对应 Helm 应用详情页 的 工作负载 区域，选择任意一个网络连通的工作负载，跳转到详情页面，单击页面右上角 控制台，登录应用对应 Pod，进行 API 调用。
方式二：通过 APIG 方式访问
开启 API 网关的认证鉴权功能时，需要在请求中添加认证 Token。
示例代码如下所示。
说明
其中：
- 将localhost:80替换为 步骤二：配置路由 中获取的 Ingress 后端服务访问域名。
- eyJhbGciOiJSUzI******替换为 步骤二：配置路由 中生成的 API Key。
- content参数的值，输入您与模型的对话内容。
最近更新时间：2025.10.27 21:45:46
这个页面对您有帮助吗？
有用
有用
无用
无用