文档中心

机器学习平台

自定义任务

Hang检测能力

Hang 检测功能可以在训练任务运行时，自动巡检并定位性能瓶颈节点。该功能主要面向算法工程师和任务运维人员，旨在帮助你快速解决训练瓶颈，提升任务的效率与稳定性。本文档将指导你如何配置和使用 Hang 检测及其相关的任务健康度监控功能。

功能介绍

通过与 VECCL 通信库的集成，实现对训练任务中性能瓶颈节点的自动巡检与定位。同时，它还优化了任务 Hang 检测、进程栈采集和诊断记录等相关功能，为用户提供了一站式的任务健康度监控与问题排查解决方案。

veCCL是云平台基于NCCL（Nvidia Collective Communication Library）自研开发的高性能集合通信库，支持安装在单节点或多节点的多张GPU卡上，结合云平台自身的网络特点及丰富的大模型任务通信调优经验，实现多GPU之间的高性能通信。更多介绍见文档。

关键特性

使用限制

前提条件

在使用 Hang 检测功能前，请确保你的训练任务满足以下条件：

使用静态编译的 NVIDIA 集体通信库 (NVIDIA Collective Communications Library, NCCL)，这些功能将不会生效。

配置说明

配置 Hang 检测-日志

此方式通过监控指定实例的 Stdout/Stderr 日志输出是否在规定时间内停滞，来判断任务是否挂起。

在诊断与容错配置区域，为你的训练任务开启并配置 Hang 检测-日志功能。

相关参数。

配置项	说明
是否开启	启用或禁用 Hang 检测功能。默认为禁用。
检测阈值	设置 Hang 检测的巡检间隔。单位为分钟 (min)，必须为整数，最小值 1。默认值为 30min。
诊断分析工机具	支持 Py-spy进程检测，用于快速定位运行中 Python 程序的性能瓶颈，检测发现任务 Hang 时自动触，如未勾选可手动触发

配置 Hang 检测-veCCL

此方式通过 VECCL 通信库的内置机制检测任务挂起，诊断更精准。

启用该功能后，系统将通过动态编译方式加载并使用平台自研的 VECCL 通信库。请确保满足前提条件中对通信库编译方式和 NCCL 版本的相关要求。

在诊断与容错配置区域，为你的训练任务开启并配置 Hang 检测-veCCL功能。

配置项	说明
是否开启	启用或禁用 Hang 检测功能。默认为禁用。

查看诊断记录

诊断任务的执行记录和结论都汇总在诊断记录页签。

诊断事件	诊断结果	诊断结论
环境诊断	诊断通过	诊断通过，环境无问题。
		诊断不通过	诊断不通过。异常 Worker：worker_0 (Host IP: 12.234.*.), worker_1 (Host IP: 12.43..) 原因：节点连接失败，网络异常。
		诊断异常	诊断功能执行异常。请联系技术支持。
进程巡检	进程巡检通过	进程巡检通过，任务无问题。
		进程巡检不通过	进程巡检不通过。异常 Worker：worker_0 (Host IP: 12.234.*.), worker_1 (Host IP: 12.43..) 原因：异常 worker 上的 python 进程中断。
		进程巡检异常	进程巡检功能执行异常。请联系技术支持。
任务 Hang 检测	任务 Hang 检测通过	任务 Hang 检测通过，任务无问题。
		任务 Hang 检测不通过	任务 Hang 检测不通过。异常 Worker：worker_0 (Host IP: 12.234.*.), worker_1 (Host IP: 12.43..) 原因：异常 worker 的 stdout/stderr 日志在 ${30 分钟} 内无输出。或 VECCL 检测到 Hang，具体根因见其返回的诊断信息。
		任务 Hang 检测异常	任务 Hang 检测功能执行异常。请联系技术支持。
慢节点诊断	Hang 检测通过	Hang 检测通过，节点无问题。
		Hang 检测不通过	Hang 检测不通过。异常 Worker：worker_0 (Host IP: 12.234.*.), worker_1 (Host IP: 12.43..) 原因：异常 worker 存在计算或通信缓慢。[AI标记：此处内容缺失或为占位符，请人工补充]
		Hang 检测异常	Hang 检测功能执行异常。请联系技术支持。