文档中心

容器服务

请输入

拓扑感知调度

NUMA 拓扑感知调度

容器服务（VKE）支持基于 Katalyst 增强 Kubernetes 资源管理能力，提升资源利用率，降低成本，提升负载的性能。

说明

【邀测·申请试用】：该功能目前处于邀测阶段。如需使用，请提交申请。

使用场景

在搜广推、游戏、AI 分布式训练等业务场景下，用户对时延的敏感性较高，对容器在微拓扑级别的摆放方式存在要求。原生 Kubernetes 的微拓扑管理能力存在一些局限。因此 VKE 基于 Katalyst 实现了 NUMA（Non-Uniform Memory Access，非统一内存访问架构）拓扑感知调度功能。

推荐使用拓扑感知调度功能的场景如下：

运行开启 NUMA 的弹性裸金属服务器。

计算密集性负载。

在线业务负载。

数据库类型业务场景。

使用说明

使用该功能时，有如下限制和须知事项：

集群 Kubernetes 版本要求：

Kubernetes v1.24 版本：v1.24.10-vke.13 及以上版本。

Kubernetes v1.26 版本：v1.26.10-vke.21 及以上版本。

Kubernetes v1.28 版本：v1.28.3-vke.15 及以上版本。

Kubernetes v1.30 版本：v1.30.4-vke.8 及以上版本。

依赖 VKE 的 scheduler-plugin 组件、katalyst 组件。

依赖节点池 kubelet 自定义配置功能。

Pod 的 QoS 级别必须是 Guaranteed，且容器申请的 CPU 资源量是整数的情况下会进行绑核。

完全兼容 Kubernetes 社区的拓扑管理策略。

说明

VKE 当前在调度时仅支持 single-numa-node 策略，容器（Container）级别亲和。

single-numa-node 策略下，Pod 请求（Request）的 CPU 和设备（如 RDMA 或 GPU）的调度与分配，需要满足单个 NUMA Node 的约束，否则会调度失败。

前提条件

已创建满足使用限制的集群。详细操作，请参见创建集群。

集群中已安装 scheduler-plugin 组件。详细操作，请参见 scheduler-plugin 组件。

集群中存在自定义节点池，且节点池中节点数不为 0。详细操作，请参见创建节点池。

使用方法

步骤一：安装和配置必要组件

该功能依赖 VKE 的 scheduler-plugin 组件、katalyst 组件，因此需要安装和配置该两个组件。

登录容器服务控制台。

在左侧导航栏选择集群，单击目标集群名称。

在集群管理页面左侧导航栏选择组件管理。

在组件管理页面的调度页签，安装和配置组件。

找到 katalyst 组件，选择... > 安装，并勾选拓扑感知调度特性开关并勾选 CPU 资源管理类型。

找到 scheduler-plugin 组件，单击配置，开启 NUMA 拓扑感知调度。

步骤二：开启节点池的拓扑感知能力

在集群管理页面左侧导航栏选择节点池。

在目标节点池操作列下单击编辑。

在编辑节点池页面，为节点池配置启用拓扑感知的 Label。

为节点池配置启用拓扑感知的 Label，其中 Key 为vke.node.katalyst.deploy，Value 为true。

配置节点池的 kubelet 自定义参数，在节点池上开启拓扑感知能力。

注意

仅 Kubernetes v1.24 和 v1.26 版本集群中需要配置 kubelet 自定义参数，v1.28 及以上集群无需配置。

您可以通过开启或关闭节点池的节点标签及污点自动更新功能，控制是否同步标签到节点池中的存量节点。关闭该功能时，可能导致存量节点上无法实现拓扑感知调度，请谨慎配置。

按如下图配置 kubelet 自定义参数。详细说明，请参见配置节点池 kubelet 自定义参数。

单击确定，编辑完成节点池。

步骤三：创建工作负载

通过控制台创建

下文以创建无状态负载（Deployment）为例，更多工作负载相关操作，请参见工作负载。

说明

关于工作负载中使用的容器镜像，您可以参考镜像仓库的推送和拉取镜像文档内容，提前上传镜像到火山引擎镜像仓库中，也可以直接使用您自己准备的第三方镜像。

在集群管理页面左侧导航栏选择工作负载 > 无状态负载，单击创建无状态负载。

在创建无状态负载页面按实际需求配置负载参数。

本示例中部分参数按如下说明配置，其余参数的详细配置说明，请参见创建无状态负载。

在 ③ 高级配置步骤中调度策略模块下开启节点亲和调度，并按如下图配置选择器为vke.node.katalyst.deploy In true。

无状态负载创建成功后，单击负载名称进入详情页，然后单击实例列表页签，查看 Pod 实例的运行状态。

在集群管理页面左侧导航栏选择节点池，找到已开启拓扑感知能力的目标节点池，单击名称。

在节点池详情页的节点列表页签，单击节点名称进入节点详情页。

在节点详情页的 Pod 列表页签，查看是否有已创建的工作负载相关 Pod。

如下图所示，表示已创建的工作负载相关 Pod 已被调度到开启拓扑感知能力的节点上。

通过 YAML 创建

下文以使用公网镜像创建 Pod 为例，演示拓扑感知调度情况。更多业务应用相关 Pod 或工作负载的介绍以及创建方法，请参见工作负载。

创建 Pod 的 YAML 文件。示例文件test-topo.yaml代码如下：

apiVersion: v1
kind: Pod
metadata:
name: test-topo # Pod 名称。
namespace: default # Pod 所属命名空间。
spec:
affinity: # Pod 亲和性调度。
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions: # Pod 亲和性调度选择器。
- key: vke.node.katalyst.deploy
operator: In
values:
- "true"
containers: # Pod 的容器配置。
- image: redis # Pod 的容器镜像，可替换为您自己的容器镜像。若使用公网镜像，请确保您的集群能够访问公网。
name: redis
resources:
limits:
cpu: "63"
memory: 10Gi
requests:
cpu: "63"
memory: 10Gi

执行以下命令，创建 Pod。

kubectl apply -f topo-pod.yaml

等待 3~5 分钟后，执行以下命令，查看 Pod 的状态，确保为 Running。

kubectl get pod -o wide

预期输出结果：

NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
test-topo 1/1 Running 0 3m11s 192.168.16.24 192.168.16.18 <none> <none>

步骤四：查看调度与分配结果

执行如下命令，查看 Pod 被调度到的节点对应的 CustomNodeResource 资源。

说明

将192.168.16.18替换为您自己节点的 IP 地址。

预期输出如下，Pod 已被调度到该节点，满足 single-numa-node 策略。

后续操作

使用 NUMA 拓扑感知调度能力后，若后续涉及依赖组件的升级，请仔细阅读组件升级影响，例如：

katalyst 组件从 v0.3.5-vke.5 升级到 v0.5.x 及以上版本后，需要变更组件关联节点池的 kubelet 自定义参数。详细操作，请参见 FAQ。

最近更新时间：2025.11.25 20:34:47

这个页面对您有帮助吗？

有用

无用