GPU云服务器
GPU云服务器
文档指南
请输入
- 文档首页
GPU云服务器GPU云服务器故障处理如何解决集合通信传输中断
复制全文
下载 pdf如何解决集合通信传输中断
文档反馈
问问助手异常描述
NCCL集合通信已启动数据传输，但在传输过程中发生异常中断。
异常原因
该问题通常由网络或硬件不稳定导致，包括网络拥塞、链路故障、交换机异常、RDMA连接断开等。
检查或修复建议
建议通过如下途径验证，确认是否存在节点硬件或网络故障。
说明
- 若为硬件故障，系统通常会输出明确的硬件异常日志。
- 请结合您自研代码实际业务场景，开展问题定开展问题定位、排查与修复工作。
- 检查告警或错误日志：设置NCCL_DEBUG=INFO后，观察是否存在告警日志，常见的网络传输错误告警日志如下：
- # 告警错误1NCCL WARN NET/IB : Got completion from peer a.b.c.d<36692> with error 12, opcode 32642, len 0, vendor err 129 (Recv) localGid ::ffff:a.b.c.d remoteGid ::ffff:a.b.c.e# 告警错误2NCCL WARN NET/IB : mlx5_5:1 Got async error event: port error
- 通过火山引擎RDMA网络监控，查看是否存在丢包、重传、或者拥塞等指标是否存在异常。
- 执行dmesg -T 命令查看系统内核日志，排查近期是否存在网络、RDMA、GPU、网卡等相关异常报错。
- 网络传输异常通常具有临时性，建议重启任务重新建立通信链路，观察问题是否自动恢复。
说明
最近更新时间：2026.05.08 15:36:24
这个页面对您有帮助吗？
有用
有用
无用
无用