You need to enable JavaScript to run this app.
文档中心
GPU云服务器

GPU云服务器

复制全文
下载 pdf
最佳实践
在高性能计算GPU型实例中安装RDMA Agent
复制全文
下载 pdf
在高性能计算GPU型实例中安装RDMA Agent
RDMA(Remote Direct Memory Access)是一种远程直接内存访问的网络技术,作为高速网络中常用的端到端传输技术,目前已在云服务器场景中广泛应用。为提高RDMA网络的可靠性与稳定性,特设计RDMA Agent用于对高性能计算GPU型实例进行RDMA配置管理,主要具备以下功能:​
  • 负责RDMA网卡的QoS、DSCP、PFC、MTU等相关配置的下发与管理。​
  • 生成GPU Topo文件。​
  • 生成RDMA策略路由。​
  • 部署自研拥塞控制算法。​
注意​
  • 使用公共镜像创建的高性能计算GPU型实例,已默认预装了RDMA Agent,无需再次安装。非GPU场景下也无需安装该工具。​
  • 使用非公共镜像部署的RDMA Agent,无法保证服务正常运行,如出现异常请及时联系技术支持。​
注意事项​
  • 实例需处于 运行中(Running)状态。​
  • 建议在以下操作系统中使用:​
  • Debian 10​
  • Ubuntu 20.04/22.04​
  • CentOS 8.3​
  • Rocky Linux 9.1​
  • veLiunx 1.0​
  • 硬件驱动依赖:网卡驱动以及对应版本的Firmware。​
  • RDMA网卡采用标准的eth*命名形式,其device名称以mlx5_*的方式进行命名。​
安装RDMA Agent​
​
方式一:通过脚本快速安装(推荐)
方式二:手动下载程序包安装
​
说明​
强烈推荐采用脚本方式进行安装,该方式能够依据操作系统自动完成下载与安装操作,您只需要选择正确的地域即可。​
  1. 拉取部署脚本。​
  • 通过公网下载:​
  • 通过私网下载:​
  • ​
    REGION=$(wget -O - -a /var/log/wget.log -t 1 --timeout=10 "http://100.96.0.96/latest/region_id" 2>/dev/null)​
    wget "https://rdma-toc-config-${REGION}.tos-${REGION}.ivolces.com/install_new.sh"​
    ​
  1. 执行以下命令进行安装。<version>需替换为实际的版本号,如bash ./install_new.sh 1.1.11。​
  • ​
    bash ./install_new.sh <version>​
    ​
​
​
查看RDMA Agent状态​
  1. 执行以下命令,查询rdma_agent.service状态。​
  • ​
    systemctl status rdma_agent.service​
    ​
  • 状态为 active (running),说明服务正常运行。​
  • ​​​
  1. 在服务正常运行的情况下,执行以下命令,可以进一步查询rdma_agent下发的配置项是否符合预期。​
  • ​
    /etc/sysop/rdma_service/agent_tobhpc/rdma-agent-check &> /dev/null​
    echo $?​
    ​
  • 若输出 非0 ,表示存在非预期的配置异常。​
  • ​​​
  1. 执行以下命令查询rdma_agent版本。​
  • rpm包管理:​
  • ​
    rpm -qa | grep rdma-agent​
    ​
  • deb包管理:​
  • ​
    dpkg -l | grep rdma-agent​
    ​
  1. 执行以下命令,查询网络拥塞控制配置是否正常。​
  • ​
    tail /var/log/rdma/rdma_cc_tool.log​
    ​
版本发布记录​
​
RDMA Agent版本​
发布内容​
1.1.11​
  • 支持RockyOS。​
  • 新增ARP配置和检查:​
  • ​
    sysctl net.ipv4.conf.all.arp_ignore=1; sysctl net.ipv4.conf.all.arp_announce=2​
    ​
  • 新增rdma_agent包移除后,自动执行stop与disable操作,以停止并禁用rdma agent,同时会移除/etc/sysop/rdma_service目录。​
  • ​​​
1.1.10​
  • 支持vRDMA热插拔网卡Topo file内容更新。​
  • 修复mlnx_qos命令异常时Agent异常退出问题。​
1.1.9​
支持NPU机型。​
1.1.8​
  • rdmacctool相关更新:​
  • 支持自动选择部署DCQCN和BCC,DCQCN覆盖集群范围。​
  • 更新BCC至更稳定的算法版本。​
  • 修复线上集群开启PCC,但是没有开启算法的场景,避免集群CC失效。​
  • 支持nvidia_peermem check。​
  • 支持打开Mlxreg roce_tx_window_en配置。​
​
常见问题​
如何判断当前rdma-agent组件是否需要版本升级?​
您可以通过以下命令判断当前的组件版本,如果当前版本为1.0.x版本,由于此版本未支持常驻配置进程和新版本拥塞控制算法,可能会在部分场景下配置失效,出现连通性或者性能问题,因此强烈建议您将版本升级到1.1.11及以上。升级方式请参考安装RDMA Agent。​
​
# Velinux/Ubuntu/Debian​
dpkg -l | grep "rdma-agent"​
# RockyLinux/CentOS​
rpm -qa | grep "rdma-agent"​
​
最近更新时间:2026.03.05 20:57:21
这个页面对您有帮助吗?
有用
有用
无用
无用