文档中心

GPU云服务器

故障处理

如何解决通信慢节点

如何解决通信慢节点

异常描述

识别到实例存在通信缓慢问题，导致整体训练性能下降。例如：

在多机多卡场景下，all_reduce、all_gather 等集合通信耗时显著偏高，单步迭代的大部分时间消耗在通信等待中。

网络带宽利用率偏低或波动剧烈，RDMA网卡出现收发包异常、时延突增等情况。

多机训练时，跨节点通信速度远低于单机内通信，且差距超出正常范围。

训练迭代速度不稳定，时快时慢，无明显规律。

监控显示网卡、交换机、RDMA 设备存在丢包、错包、链路复位或重连等异常。

任务未完全卡死，但整体训练迭代步长被明显拉长，持续处于低性能状态。

排查及修复建议

查看实例GPU/RDMA监控数据，了解RDMA网络是否存在丢包、重传、或者拥塞等指标是否存在异常。

若实例存在明确异常（如温度、功耗异常等），请提交工单或联系客户经理获取技术支持。

最近更新时间：2026.05.08 15:36:24

这个页面对您有帮助吗？

有用

有用

无用

无用