容器服务
容器服务
容器服务
文档指南
请输入
容器服务 VKE
产品动态
Kubernetes 版本发布记录
组件发布记录
监控组件
DNS 组件
GPU 组件
Sandbox 组件
安全公告
产品公告
历史公告
用户指南
集群
节点池
授权
网络
容器网络
服务（Service）
路由（Ingress）
APIG Ingress
ALB Ingress
自定义转发规则配置示例
CLB Ingress
Nginx Ingress
Gateway API
工作负载
存储
数据管理中心（DMC）
对象存储（TOS）
FSX 访问方式
文件存储（NAS）
FSX 访问方式
弹性文件存储（EFS）
文件存储（vePFS）
FSX 访问方式
vePFS Client 访问方式
NFS 访问方式
大数据文件存储（CloudFS）
弹性伸缩
工作负载弹性伸缩
事件驱动伸缩（KEDA）
组件管理
网络组件
监控组件
DNS 组件
GPU 组件
Sandbox 组件
异构计算
调度管理
可观测性
基础观测
诊断与巡检
最佳实践
网络
可观测性
安全合规
API 参考
集群管理
节点池管理
组件管理
机型镜像管理
云原生观测
巡检诊断
弹性容器实例
附录
开发指南
常见问题
通用 FAQ
集群 FAQ
集群管理
集群升级
节点与节点池 FAQ
授权 FAQ
工作负载 FAQ
服务与路由 FAQ
存储 FAQ
弹性伸缩 FAQ
可观测性 FAQ
配额 FAQ
组件 FAQ
容器镜像 FAQ
AI 云原生
推理套件
Helm 模板 AI 应用
Deepseek 实践
Qwen 实践
最佳实践
MiniMax 模型部署
Qwen 模型部署
弹性容器实例 VCI
最新动态
用户指南
虚拟节点
VKE 集群使用虚拟节点
自建/跨云集群使用虚拟节点
创建 VCI 实例
VCI Agent Sandbox
安全合规
- 文档首页
容器服务容器服务 VKE常见问题异构计算 FAQRDMA 环境运行过程中报错，该如何解决？
复制全文
下载 pdfRDMA 环境运行过程中报错，该如何解决？
文档反馈
问问助手问题现象
容器内使用 RDMA 设备完成多机通信，运行过程中 NCCL 运行时报如下错误：
- ibv_create_cq allocate memory failed。
- ibvwrap.c:106 NCCL WARN Call to ibv_reg_mr failed。错误信息示例如下：
- ibvwrap.c:106 NCCL WARN Call to ibv_reg_mr failedproxy.cc:1519 NCCL WARN [Proxy Service 5] Failed to execute operation Connect from rank 5, retcode 2NCCL WARN socketProgress: Connection closed by remote peer master-0.svc.cluster.local<36167>
环境配置
- 节点机型：ecs.hpcpni3ln.45xlarge
- NCCL 版本：2.18.5
原因分析
若确定是“ulimit -l 限制默认为 64K，benchmark 场景下 memlock 内存不足”导致，可参考以下解决方案处理。
解决方案
新增节点
存量节点
新增节点的解决方案如下：
- 登录 容器服务控制台。
- 在左侧导航栏中单击 集群，单击目标集群名称，进入集群管理页面。
- 在左侧导航栏中选择 节点管理 > 节点池。
- 单击目标节点池右侧 操作 列下的 编辑，在 高级配置 中添加如下部署执行脚本，替换并重启 containerd 配置。
注意
其中，LimitNOFILE参数的值需要根据实际情况，从/lib/systemd/system/containerd.service中获取。
- sed -i '/LimitNOFILE=10xxx76/a LimitMEMLOCK=infinity\nLimitSTACK=infinity' /lib/systemd/system/containerd.service && systemctl daemon-reload && systemctl restart containerd
-
存量节点的解决方案如下：
- 登录节点并执行vi /lib/systemd/system/containerd.service 命令，新增LimitMEMLOCK=infinity配置。
- 执行sudo systemctl daemon-reload && sudo systemctl restart containerd命令，加载配置并重启 containerd 服务。
最近更新时间：2026.02.04 11:00:50
这个页面对您有帮助吗？
有用
有用
无用
无用