NVIDIA Tesla驱动问题
哪些实例需要安装NVIDIA Tesla驱动?
针对通用计算场景,计算型和高性能计算型实例推荐安装NVIDIA Tesla驱动(GPU驱动、CUDA工具包等),安装操作请参见Nvidia驱动安装指引。 实例如何安装Tesla驱动?
Nvidia驱动安装成功,但执行nvidia-smi命令无效,显示驱动未安装,该如何排查?
问题分析:可能是kernel-devel和kernel版本不一致,导致在安装RPM包过程中驱动程序编译出错。
解决方案:在实例内运行rpm -qa | grep $(uname -r)命令查看kernel和kernel-devel的版本号,检测版本是否一致。若不一致,请从正规渠道下载对应的kernel-devel包,再重新安装驱动。
执行nvidia-smi命令查看的CUDA版本和实际的安装版本为何不一致?
执行nvidia-smi命令查询到的CUDA版本代表您的GPU实例可以支持的最高CUDA版本,并不代表您实际安装的CUDA版本。
如何查询GPU显卡的详细信息?
不同操作系统的GPU实例,查看GPU显卡信息的操作如下:
- Linux操作系统,您可以执行nvidia-smi命令,查看GPU显卡的详细信息。
- Windows操作系统,您可以在设备管理器中查看GPU显卡的详细信息。
如果您想了解GPU卡的运行和使用情况,请参考云监控概述查看。 为什么A100/A800显卡间网络无法互通?
搭载多张A100/A800显卡的实例需要安装NVIDIA-Fabric Manager软件包实现多A100/A800显卡间通过NVSwitch互联。
- 如果您使用未内置NVIDIA-Fabric Manager软件包的自定义镜像,购买了搭载多张A100/A800显卡的GPU型实例后,则必须安装与GPU驱动版本对应的NVIDIA-Fabric Manager软件包,否则将无法正常使用实例。安装操作请参见安装NVIDIA-Fabric Manager软件包。
如何查看NVSwitch GPU显卡间带宽?
搭载A100/A800显卡的实例支持通过NVSwitch互联,如需了解NVSwitch GPU-to-GPU bandwidth,请参见NVIDIA官网。 如何升级NVIDIA Tesla驱动?
如果GPU实例中安装的Tesla驱动版本不适用于当前场景,或您安装了错误的驱动版本导致GPU实例无法使用,您可以升级Tesla驱动。升级Tesla驱动时,需要先卸载当前的Tesla驱动,然后再重新安装新版本的Tesla驱动。
NVIDIA GRID驱动问题
哪些实例推荐安装NVIDIA GRID驱动?
渲染型实例推荐安装GRID驱动来满足图形图像处理(3D渲染,视频编码/解码)的需求,渲染型实例规格族请参见实例规格介绍。 GPU计算型实例支持安装GRID驱动吗?
支持。GRID驱动用于获得GPU卡的图形加速能力,适用于OpenGL等图形计算的场景。您需通过NVIDIA官方渠道购买NVIDIA GRID License后安装,具体操作请参见安装NVIDIA GRID驱动。 为什么Windows系统的GPU实例安装GRID驱动后,使用VNC登录出现黑屏?
Windows系统的GPU实例安装GRID驱动后,VM的显示输出将由GRID驱动管理,VNC无法再获取到集成显卡的画面,因此,VNC显示会变成黑屏状态,属于正常现象。建议您使用ECS Terminal方式登录GPU实例,具体操作请参见通过控制台登录Windows实例。 如何升级NVIDIA GRID驱动?
若安装的GRID驱动版本无法满足您的业务需求,您可以:
Nvidia ECC Mode问题
什么是ECC Mode?
ECC (Error Correcting Code) 是一种实现内存错误检查和纠正的技术,通过GPU驱动开启ECC Mode后,驱动会通过消耗一部分显存作为校验位来对数据损坏进行发现,一般情况下损坏可进行自动修正,当无法自动修正时认为显存出现UE(Uncorrectable Error),需要通过Dynamic Page Retirement或者Row Remapping进行坏区规避。 如何查看实例的ECC状态?
什么情况下应该关闭或者打开ECC?
通常情况下,对于渲染型业务建议关闭ECC,对于计算型业务建议开启ECC。由于ECC本身会占用显存并伴随性能损失,存在部分计算场景会关闭ECC的情况,但存在风险,通常不建议这样操作。
为什么在GPU云服务器上开启/关闭ECC不生效?
问题现象:部分用户使用GPU云服务器时,通过驱动设置ECC Mode,重启实例以后查询显示设置未生效。
问题原因:这是因为NVIDIA Tesla 535及以上版本驱动,Legacy Persistence Mode支持不佳。
解决办法:需要开启Persistence Daemon启用新版持久化功能,再进行ECC设置,操作步骤如下:
sudo nvidia-persistenced --user <username>
nvidia-persistenced --persistence-mode
- 重新登录云服务器后可通过以下命令查询ECC开启状态。