文档中心

GPU云服务器

故障处理

Ubuntu 24.04+Nvidia drive 570+doca 2.9.1环境下DeepEP报错原因分析与解决方案

问题描述

在Ubuntu 24.04+Nvidia drive 570+doca 2.9.1环境中，下载并安装了nvshmem 3.2.5后，接着安装DeepEP。当运行DeepEP官方提供的名为test_low_latency.py的示例程序时，出现如下错误。

问题原因

安装OFED时，原本应该编译生成ib_uverbs.ko文件。但在实际安装过程中，由于一个关键的补丁（patch）未得到应用，导致ib_uverbs.ko无法将nvidia-peermem挂载到系统路径/sys/kernel/mm 下，使得上层nvshmem库无法探测到nvidia-peermem。

解决方案

执行以下命令，进入nvshmem源码目录。

cd /path/to/nvshmem_src

修改判断nvidia-peermem.ko的逻辑。

执行以下命令，打开transport_ib_common.cpp文件。

vim /path/to/nvshmem/src/modules/transport/common/transport_ib_common.cpp

修改函数nvshmemt_ib_common_nv_peer_mem_available()的返回值为NVSHMEMX_SUCCESS。

修改前：

修改后：

将以下patch文件放入安装DeepEP源码的目录下。如何上传文件至ECS实例。

latest_commit.patch

执行以下命令，将patch文件应用到当前DeepEP源码目录的相关代码上。

git apply latest_commit.patch

按照DeepEP官方安装教程重新安装nvshmem和DeepEP即可。

最近更新时间：2025.05.23 17:07:33

这个页面对您有帮助吗？

有用

无用