问题描述

使用5.4.x版本内核的veLinux 1.0操作系统的云服务器实例中，出现磁盘Inflight I/O hang，并产生如下调用栈信息。

[ffffb168439277f0] _raw_spin_lock at ffffffffb7a0327a​
[ffffb168439277f8] ext4_mb_discard_group_preallocations at ffffffffc03627a1 [ext4]​
[ffffb168439278a8] ext4_mb_new_blocks at ffffffffc03649e0 [ext4]​
[ffffb16843927950] ext4_ext_map_blocks at ffffffffc033eae5 [ext4]​
[ffffb16843927a18] ext4_map_blocks at ffffffffc035181f [ext4]​
[ffffb16843927a88] ext4_writepages at ffffffffc03560c1 [ext4]​
[ffffb16843927bd8] do_writepages at ffffffffb73f1e0e​
[ffffb16843927c50] __filemap_fdatawrite_range at ffffffffb73e7f0b​
[ffffb16843927cd8] ext4_release_file at ffffffffc03436ec [ext4]​
[ffffb16843927cf8] __fput at ffffffffb74b1283​

问题原因

由于实例磁盘出现持续异常满负载触发内核故障，Kworker因自旋锁（spinlock）被卡住，引发大量任务挂起（hungtask），同时写入块设备缓存（WBT）存在未完成的输入/输出操作（inflight l/O）。

解决方案

通过内核热补丁修复

通过内核热补丁，您可以在不重启实例及其中运行的业务的前提下修复问题。

登录目标实例。

执行如下命令，确认当前操作系统内核版本号。

sudo uname -r

回显如下所示时，表示内核版本号为5.4.56-1-veLinux1。

5.4.56-1-veLinux1-amd64

根据操作系统及内核版本号，执行对应命令安装热补丁。

veLinux 1.0
veLinux 1.0 CentOS 兼容版
内核版本号：5.4.56-1-velinux1

sudo apt install -y livepatch-5.4.56-1-velinux1-ext4-ABBA-lock-fix_1.0_amd64.deb

内核版本号：5.4.56-1-velinux1u2

sudo apt install -y livepatch-5.4.56-1-velinux1u2-ext4-ABBA-lock-fix_1.0_amd64.deb

内核版本号：5.4.250-9-velinux1

sudo apt install -y livepatch-5.4.250-9-velinux1-ext4-ABBA-lock-fix_1.0_amd64.deb
内核版本号：5.4.250-6.ve1

sudo yum install -y livepatch-5.4.250-6.ve1-ext4-ABBA-lock-fix-1.0-1.x86_64.rpm

执行如下命令，确认热补丁是否安装成功。

sudo lsmod | grep livepatch

回显如下所示时，表示热补丁安装成功。

升级内核至修复版本

登录目标实例。

升级内核版本。

veLinux 1.0
veLinux 1.0 CentOS 兼容版

Kernel_Version="<目标内核版本>"
sudo apt update && sudo apt install linux-header-$Kernel_Version linux-image-$Kernel_Version

执行如下命令，重启云服务器。

sudo reboot