文档中心

容器服务

请输入

产品公告

【产品公告】VKE 组件优化-应对 Kubernetes Device Plugin 框架资源上报异常

背景信息

在 Kubernetes 原生的 Device Plugin 框架中，kubelet 通过 gRPC 长连接调用设备插件的 ListAndWatch 接口来持续获取节点上的设备资源信息（如 GPU、RDMA 网卡等）。当该 gRPC 连接因网络抖动、进程异常等原因意外断开时，kubelet 会将对应的设备资源上报为 0，导致节点上的 GPU 或 RDMA 等资源无法被调度使用。

该问题为 Kubernetes 社区 Device Plugin 框架的已知设计缺陷。当 ListAndWatch 流断开后，kubelet 不会自动重新建立连接或发起重试，必须依赖设备插件侧主动重新注册才能恢复。目前社区尚未对 Device Plugin 框架提供内置的自动恢复机制，其长期方向是通过 DRA（Dynamic Resource Allocation）架构替代 Device Plugin，但完整迁移仍需较长周期。

影响范围

影响组件

该资源上报异常问题，涉及的组件如下：

nvidia-device-plugin

rdma-device-plugin

vpc-cni

mgpu

问题现象

当上述组件与 kubelet 之间的 ListAndWatch 连接异常断开时，会出现以下现象：

节点上的 GPU 或 RDMA 资源被上报为 0。

依赖这些资源的 Pod 无法被调度到该节点。

已有工作负载不受影响，但新的调度请求将失败。

解决方案

为应对上述社区框架缺陷，VKE 针对涉及的组件均发布了新版本，新增了资源上报异常自动检测与恢复能力。当检测到资源上报异常后，组件将自动发起重新注册流程，恢复设备资源的正常上报，无需人工介入。

注意事项

组件升级过程中，已分配的设备资源和正在运行的工作负载不受影响。

建议在业务低峰期进行组件升级操作。

升级完成后，如仍遇到资源上报异常，请提交工单联系我们。

操作建议

如果您在集群中安装并使用了上述组件，建议及时将组件升级至最新版本，以获得自动检测恢复能力和其他相关优化。

组件名称	最低版本要求	升级说明
nvidia-device-plugin	v2.2.1 及以上版本	升级到该版本后，即可实现自动检测与恢复。从该版本开始支持 cgroupv2，若您需要使用 cgroupv2 的节点，必须升级至 v2.2.1 版本以上。
rdma-device-plugin	v3.6.2-vke.1 及以上版本	升级到该版本后，即可实现自动检测与恢复。
vpc-cni	v1.8.11 及以上版本	升级到该版本后，即可实现自动检测与恢复。
mgpu	v0.6.5 及以上版本	升级到该版本后，请在 mgpu 组件配置中开启健康检查（配置详情，请参见 mgpu）。开启后，组件在检测到资源上报异常时会自动触发重新注册并恢复资源上报。

说明

升级组件的详细步骤和说明，请参见升级组件。