文档中心

容器服务

请输入

产品公告

【产品公告】nvidia-device-plugin 组件默认关闭 XID 异常隔离功能

背景信息

Nvidia Device Plugin 原生提供了 GPU 隔离能力，在节点中的 GPU 发生部分 XID 异常时，会自动隔离该 GPU，防止继续调度工作负载到异常 GPU 上，保证业务安全。但是在执行自动隔离操作后，Nvidia Device Plugin 不会自动恢复被隔离的 GPU，需要手工重启 Nvidia Device Plugin 才能恢复调度。因此，如果您没有及时处理被隔离的 GPU，或者隔离后剩余 GPU 数量不满足调度任务需要，都可能导致 GPU 资源闲置。

说明

关于 Nvidia Device Plugin 原生 GPU 隔离能力的更多信息，请参考官方文档。更多常见 XID 错误的处理方法，请参见 NVIDIA GPU 常见 XID 错误处理方法。

影响版本

nvidia-device-plugin 组件 2.2.0 及以上版本。组件版本发布记录，请参见 nvidia-device-plugin。

变更说明

nvidia-device-plugin 组件自 2.2.0 版本起，进行以下变更：

默认关闭 XID 健康检查功能，不再基于部分 XID 异常自动隔离 GPU。如有需求，您可以在节点检查自愈中开启 GPU 故障自愈，自动处理 XID 异常场景。详情请参见配置节点检查自愈。

废弃DCGM_CUSTOM_XID_ERRORS_TOTAL_COUNTER和DCGM_CUSTOM_XID_ERRORS_TOTAL_COUNTER指标，替换为DCGM_EXP_XID_ERRORS_COUNT指标。

配置方式

如果您仍然需要基于 XID 异常的 GPU 隔离能力，可以在 nvidia-device-plugin 组件的配置中，手工修改默认配置。

登录容器服务控制台。

在左侧导航栏中选择集群，单击目标集群，进入集群管理页面。

在左侧导航栏中，选择组件管理，并选择 GPU 页签。

将鼠标移动到 nvidia-device-plugin 组件上，单击配置，手工取消关闭 XID 健康检查选项，开启 XID 异常 GPU 自动隔离功能。

【推荐】开启云原生观测，并配置 GPU 告警规则，以便及时发现闲置 GPU 资源并处理。详情请参见 AI 资源观测。

最近更新时间：2026.03.04 19:35:27

这个页面对您有帮助吗？

有用

无用