文档中心

GPU云服务器

故障处理

NVIDIA GPU常见XID错误处理方法

什么是XID？

XID是指“X Error ID”，是NVIDIA驱动程序生成的错误代码，用于标识在GPU操作期间发生的错误。XID通常与GPU硬件或驱动程序中的错误相关，例如内存错误、电源问题、温度过高等。

问题现象

当GPU检测到错误时，它会生成一个XID并记录在操作系统内核日志或事件日志中，XID错误信息示例如下所示：

<GpuIds>;<TS>;<Xid>;MSG=An nvidia xid 13 error has occurred.

<GpuIds>：GPU设备标识。

<TS>：错误事件发生的时间。

<Xid>：XID错误代码。

MSG：XID错误描述。

查看XID信息

登录实例。

执行如下命令。

cat /var/log/messages | grep "Xid (PCI"
cat /var/log/kern.log | grep "Xid (PCI"

结果如下图所示。

您可以参考常见XID处理方法和其他XID处理方式自行排查解决，若问题仍无法解决，可收集bug-report文件后提交工单反馈。关于如何收集bug-report文件，请参见如何收集NVIDIA日志？

常见XID处理方法

XID错误代码	说明	是否产生故障事件	处理建议
13	此事件记录用户应用程序的常规故障。通常是由程序访问越界（Graphics Engine Exception）引发，但也可能源于非法指令、非法寄存器或其他异常情况。极少数情况下，硬件故障或系统软件错误也可能表现为Xid 13错误。	否	若仅单次出现Xid 13错误，建议重新启动应用程序以恢复正常运行。若特定节点反复出现该错误，而其他节点运行正常，建议收集相关bug-report并提交工单，以便进一步排查处理。
31	当芯片上的应用单元因非法地址访问等操作触发MMU报错（GPU memory page fault）时，系统会记录此事件。此类错误通常由应用程序层面的缺陷导致，但也可能源于驱动程序故障或硬件问题。	否	若仅单次出现Xid 31错误，建议重新启动应用程序以恢复正常运行。若特定节点反复出现该错误，而其他节点运行正常，建议收集相关bug-report并提交工单，以便进一步排查处理。
43	当用户应用程序触发软件层故障而必须终止（GPU stopped processing）时，会记录此事件。此时GPU仍处于正常运行状态。大多数情况下，此事件并非程序缺陷所致，而是由用户应用程序错误引发。	否	无需处理
45	当用户应用程序中止，且内核驱动程序清除GPU上对应的应用进程时，会触发此事件。例如，按下Control-C、GPU重置、接收sigkill信号等导致应用中止的的场景，均会生成该事件。多数情况下，此事件并非程序缺陷所致，而是用户主动操作或系统行为所致。	否	无需处理
48	当GPU检测到不可纠正的ECC错误（DBE，Double Bit ECC Error）时，会记录此事件，且该情况也会反馈给应用程序。	否	若仅单次出现Xid 48错误，建议重新启动GPU云服务器以恢复正常运行。若特定节点反复出现该错误，而其他节点运行正常，建议收集相关bug-report并提交工单，以便进一步排查处理。
63	当应用程序触发GPU显存硬件错误时，NVIDIA自纠错机制会对错误内存区域执行Retire（停用）或Remap（重映射）操作；由于Retire和Remap的配置信息需写入infoROM才能永久生效，因此此事件（ECC page retirement or row remapping recording event）代表上述错误区域的Retire或Remap信息已成功记录至infoROM。	否	无需处理
64	与Xid 63的触发场景类似，只是Xid 63代表Retirement Remapped信息成功记录到infoROM，Xid 64代表该记录操作失败（ECC page retirement or row remapper recording failure）。	否	重新启动GPU云服务器恢复。
74	当GPU检测到通过NVLink与另一GPU或NVSwitch的连接出现问题时（Fatal NVLINK Error），系统将记录此事件。该事件表明链路本身存在硬件故障，也可能指向链路远端设备的问题。	是	该Xid错误经判定由硬件故障引发。云监控服务已具备对此类故障的自动发现与处理能力，在获得用户授权后，可通过自动执行事件冷迁移操作完成恢复。若故障机器未安装或未启用云监控服务，则需提交工单处理。
79	GPU硬件掉卡，已无法从总线上检测到。收到此事件（GPU has fallen off the bus）表明GPU已经出现严重硬件故障，需下线维修。	是	该Xid错误经判定由硬件故障引发。云监控服务已具备对此类故障的自动发现与处理能力，在获得用户授权后，可通过自动执行事件冷迁移操作完成恢复。若故障机器未安装或未启用云监控服务，则需提交工单处理。
94	当应用程序触发GPU显存不可纠正的ECC错误时，NVIDIA错误抑制（contained）机制会将错误抑制在当前已出现问题的应用程序内，不会让错误影响GPU上其他应用程序。当抑制机制成功抑制错误时，会产生Xid 94事件，仅影响触发了不可纠正ECC错误的应用程序（Contained ECC error）。	否	若仅单次出现Xid 94错误，建议重新启动应用程序以恢复正常运行。若特定节点反复出现该错误，而其他节点运行正常，建议收集相关bug-report并提交工单，以便进一步排查处理。
95	与Xid 94 Error为同一类事件，代表抑制失败，此时表明运行在该GPU上的所有应用程序都已受到影响，受影响的GPU必须重置后，应用程序才能重新启动（Uncontained ECC error）。	否	若仅单次出现Xid 95错误，建议重新启动GPU云服务器以恢复正常运行。若特定节点反复出现该错误，而其他节点运行正常，建议收集相关bug-report并提交工单，以便进一步排查处理。
109	Xid 109错误事件核心定义为GPU上下文切换超时错误。该错误本质是GPU在多任务调度过程中，不同任务间的上下文切换操作耗时超出驱动程序或硬件层面的预设时限，进而触发的异常告警。当此错误发生时，可能伴随程序异常终止、GPU驱动自动重置等现象，极端场景下可能导致相关计算或渲染任务中断。实际处理需结合错误对用户应用的具体影响（如任务中断、业务可用性影响范围等），制定针对性的排查与解决方案。	否	若仅单次出现Xid 109错误，且未对业务进程运行造成影响，可无需特殊处理，持续关注后续运行状态即可；若Xid 109错误出现期间，伴随业务进程崩溃、启动失败等异常，建议重启GPU云服务器以恢复正常运行。若特定节点反复出现该错误，而其他节点运行正常，建议收集相关bug-report并提交工单，以便进一步排查处理。
119	等待GSP核心响应RPC消息时发生超时（GSP RPC Timeout）。	否	若仅单次出现Xid 119错误，建议重新启动GPU云服务器以恢复正常运行。若特定节点反复出现该错误，而其他节点运行正常，建议收集相关bug-report并提交工单，以便进一步排查处理。
120	GPU的GSP核心运行代码时发生出错（GSP Error）。	否	若仅单次出现Xid 120错误，建议重新启动GPU云服务器以恢复正常运行。若特定节点反复出现该错误，而其他节点运行正常，建议收集相关bug-report并提交工单，以便进一步排查处理。
140	当GPU驱动程序在GPU内存中检测到不可纠正的错误，且这些错误导致驱动程序无法标记页面以进行动态页面下线或行重新映射的能力时，可能会发生此事件（Unrecovered ECC Error）。	否	若仅单次出现Xid140错误，建议重新启动GPU云服务器以恢复正常运行。若特定节点反复出现该错误，而其他节点运行正常，建议收集相关bug-report并提交工单，以便进一步排查处理。

其他XID处理方式

当遇到非典型XID Error时，建议先参考NVIDIA官网的Xid Error文档尝试自行排查解决。若问题仍无法解决，可收集bug-report文件后提交工单反馈。

最近更新时间：2026.01.14 18:51:08

这个页面对您有帮助吗？

有用

无用