文档中心

GPU云服务器

请输入

故障处理

如何解决集合通信未启动

异常描述

NCCL集合通信算子已下发，但数据传输未成功启动。

异常原因

该异常表示通信算子未在GPU上实际执行，通常由前置计算算子未正常完成导致算子流阻塞，进而造成通信启动失败。

检查或修复建议

说明

请结合您自研代码的实际业务场景，开展问题定位、排查与修复工作。

排查NCCL集合通信（例如 dist.all_reduce()）之间是否存在耗时异常的非通信逻辑。重点检查通信调用前方的Python代码，确认是否存在数据加载阻塞（Data Loading Bottleneck）、死循环或其他导致进程卡死的耗时操作。

若存在该问题，请提交工单或联系客户经理获取技术支持。

最近更新时间：2026.05.08 15:36:24

这个页面对您有帮助吗？

有用

无用