Memcg异步内存回收是veLinux内核在标准Memory Cgroup基础上提供的增强特性。本文主要介绍该功能的原理、配置及查询方法，帮助您在延迟敏感业务中通过后台异步回收降低内存回收对请求延迟的影响。

注意

Memcg异步内存回收功能不会扩大cgroup内存上限，也不能替代业务侧内存治理。如果业务长期接近或超过内存上限（memory.limit_in_bytes），仍需结合容量评估、缓存上限治理、内存泄漏排查和cgroup limit调整一起处理。

## 背景信息 Memory Cgroup（简称为Memcg）是Linux内核控制组（cgroup）的内存子系统，用于把一组进程的内存行为与系统其余部分隔离开，并对其内存用量进行统计和限制。常见用途包括隔离内存占用较高的应用、为容器或虚拟机划定内存配额，以及避免单个业务耗尽整机内存。[了解更多](https://docs.kernel.org/admin-guide/cgroup-v1/memory.html) * **直接内存回收（direct reclaim）** ：当Memcg用量达到上限时，内核会在业务线程申请内存的路径上同步回收内存，回收期间业务线程被阻塞，内存压力升高时表现为请求尾延迟抖动、内存分配耗时升高、服务偶发卡顿。 * **异步内存回收（async reclaim）** ：为`cgroup`配置`low`、`high`两个内存水位，当可用内存降至`low`水位时，Memcg会提前唤醒后台`kworker`线程异步回收内存，直至可用内存回升至`high`水位后停止。回收过程不占用业务线程的内存分配路径，业务线程可继续运行不受阻塞，在用量触达上限前提前腾出内存空间，从而**降低直接内存回收的触发概率**（不能保证完全避免直接内存回收），减少请求延迟抖动。 ## 适用场景业务使用Memcg做内存隔离，并在内存压力升高时出现下列现象时，适合开启Memcg异步内存回收： * 请求尾延迟（P99、P999）抖动明显。 * 内存分配（page fault、malloc）耗时升高。 * 服务偶发卡顿，但整机CPU、IO资源仍有余量。该功能尤其适合**延迟敏感、内存分配突发明显、容器或进程组之间需要内存隔离**的业务，例如在线服务、缓存服务、实时数据处理等。 ## 注意事项 |项目 |说明 | |---|---| |内核版本 |支持该特性的veLinux内核版本：

* veLinux：

* 5.4.250\-1\-velinux1 及以上版本

* 5.15.152.ve.7u1 及以上版本

* veLinux CentOS Compatible：

* 5.4.250\-1.ve1 及以上版本

* 5.15.152\-7.1.ve2 及以上版本

说明

若您的实例操作系统内不存在memory.watermark_scale_factor、memory.watermark接口或对应sysctl参数，表示当前内核版本不支持或未启用该功能。

| |Cgroup版本 |支持 `cgroup v1`、`cgroup v2`。

说明

若您的操作系统使用 cgroup v2，建议优先参考 Linux 社区方案，通过 memory.reclaim 接口灵活控制回收时机和回收内存量，最大程度提升内存利用率，降低内存回收影响。

| |风险提示 |异步回收特性会**在内存水位达到阈值时自动触发**，**不评估当前回收时机及回收量的合理性**，仍可能对业务延迟造成一定影响。 | ## 操作步骤 ### 配置建议推荐您先使用`cgroup`接口对目标业务灰度开启异步内存回收功能，验证收益与CPU开销后，再使用`sysctl`（配置文件）为后续新建`cgroup`持久化默认值。仅在业务需要**开机自动带入默认值**时，考虑通过内核启动参数进行配置。 |**配置项** |**建议** | |---|---| |水位比例 |建议从较小值开始灰度，例如 `100`。若直接内存回收仍然较多，可逐步上调比例；若CPU开销升高或回收过于频繁，应下调比例。 | |启用范围 |建议优先对**延迟敏感、已观察到内存回收抖动**的Memcg单独开启（`cgroup` 接口），不建议直接通过`sysctl`或内核启动参数全量开启。 | |回收并发 |建议保持默认值 `1`。如需调大，应先在测试环境验证CPU开销和业务延迟。 | ### 配置方案使用cgroup接口配置该方式仅作用于**单个已存在Memcg**，配置后立即生效，系统重启或`cgroup`重建后失效。适合对个别延迟敏感业务先灰度开启，验证尾延迟收益和CPU开销后再扩大范围。 1. 执行如下命令，查询单个已存在Memcg的水位比例与实际水位。 Cgroup v1

说明

请将替换为目标Memcg的实际路径。

```Bash cat /sys/fs/cgroup/memory//memory.watermark_scale_factor cat /sys/fs/cgroup/memory//memory.watermark ``` Cgroup v2

说明

请将替换为目标Cgroup的实际路径。

```Bash cat /sys/fs/cgroup//memory.watermark_scale_factor cat /sys/fs/cgroup//memory.watermark ``` **接口说明：** |**接口名** |**属性** |**默认值** |**说明** | |---|---|---|---| |`memory.watermark_scale_factor` |读写 |0 |配置当前Memcg的水位比例，取值范围为 `0 ～ 1000`。

* 取值为 `0` 时，表示关闭该`cgroup`的异步回收。

![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_970ee293df2b892012026adbee789d33.png)

* 取值为`1000`时，`low`水位按`memory.limit_in_bytes`的 **10% ** 计算，`high`水位为`low`水位的 **2** 倍。

![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_0d7d575cdc4e5b9172f2676355d8215c.png) | |`memory.watermark` |只读 |0 |查看当前`cgroup`计算得到的`low`和`high`水位值，用于确认配置是否生效。

![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_af4328fecb92f45d4cd5ae6b3dd19d64.png) | 2. 执行如下命令，为指定Memcg配置水位比例。 Cgroup v1

说明

请将替换为目标 Memcg 的实际路径，将 100 替换为期望值。

```Bash echo 100 > /sys/fs/cgroup/memory//memory.watermark_scale_factor ``` Cgroup v2

说明

请将替换为目标Cgroup的实际路径，将 100 替换为期望值。

```Bash echo 100 > /sys/fs/cgroup//memory.watermark_scale_factor ``` 配置全局sysctl参数该方式作用于后续新建Memcg的全局默认值，不会影响已存在`cgroup`。适合灰度验证通过后，为新建业务统一设置默认值。 1. 执行如下命令，查询后续新建Memcg的全局默认水位比例与 `memcg kworker `最大并发数量。

注意

sysctl查询结果只代表“全局默认值”，不代表已经存在的Memcg已开启异步回收。如需确认已有cgroup的实际配置，请使用cgroup接口查询。

```Bash cat /proc/sys/vm/memcg_watermark_scale_factor cat /proc/sys/vm/memcg_mem_reclaim_wq_max_active ``` 2. 按需选择配置方式，为后续新建的Memcg配置全局默认值。通过proc接口配置在目标Linux实例中执行如下命令，使用proc接口配置`memcg_watermark_scale_factor`、`memcg_mem_reclaim_wq_max_active`参数值。

说明

本方式支持在系统运行中修改并生效配置，但重启操作系统后将失效，需要重新配置。

如下命令将后续新建Memcg的默认水位比例设置为 100，并将每个 NUMA node 的 memcg kworker 最大并发数设置为 1，请按需替换为实际值。

```Bash echo 100 > /proc/sys/vm/memcg_watermark_scale_factor echo 1 > /proc/sys/vm/memcg_mem_reclaim_wq_max_active ``` **接口说明：** |**接口名** |**默认值** |**说明** | |---|---|---| |`/proc/sys/vm/memcg_watermark_scale_factor` |0 |配置后续新建Memcg的默认水位比例。修改该参数不会影响已经存在的Memcg。 | |`/proc/sys/vm/memcg_mem_reclaim_wq_max_active` |1 |配置 `memcg kworker` 最大并发数量。默认值为 `1` 表示每个 NUMA node 最多并发运行 1 个 `memcg kworker`。 | ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_450e041ff63e48660c99dc4cedff99ac.png) 通过sysctl文件配置 1. 通过`sysctl`配置文件，配置Memcg水位。

注意

本方式配置后需重启操作系统生效，但重启操作系统后不会失效，无需重复配置。

1. 执行如下命令，打开/etc/sysctl.conf文件。 ```Bash vim /etc/sysctl.conf ``` 2. 按`i`键进入编辑模式，新增或更新如下参数。

说明

如下配置会将后续新建Memcg的默认水位比例设置为 100，并将每个 NUMA node 的 memcg kworker 最大并发数设置为 1，请按需替换为实际值。

```Bash vm.memcg_watermark_scale_factor = 100 vm.memcg_mem_reclaim_wq_max_active = 1 ``` 3. 按`esc`键退出编辑模式，输入`:wq`按回车键，保存并退出文件。 2. 执行如下命令，使配置生效。 ```Bash sudo sysctl -p ``` ### ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_c9fa9b31cffb02b95230ba68428824df.png) 配置内核启动参数该方式在系统启动阶段设置全局默认水位比例，作用于后续新建Memcg，需重启实例后生效，重启后保留。适合希望系统启动后自动带入默认配置的场景。

注意

修改GRUB文件配置属于高风险操作，配置错误可能导致系统无法正常启动。请先备份原配置文件，并优先在测试环境验证后再在生产环境执行。

1. 执行如下命令，备份GRUB配置文件。 ```Bash sudo cp /etc/default/grub /etc/default/grub.bak ``` 2. 执行如下命令，确认GRUB配置文件中是否已存在异步回收内存配置参数。 ```Bash grep 'memcg_watermark_scale_factor' /etc/default/grub ``` **参数说明：** |**参数** |**说明** | |---|---| |`memcg_watermark_scale_factor=` |在系统启动时设置全局Memcg水位比例，效果等同于调用`sysctl`接口`/proc/sys/vm/memcg_watermark_scale_factor`，用于影响后续新建的Memcg。 | * 若回显为空，请执行如下命令追加`memcg_watermark_scale_factor`参数。

说明

请将100替换为目标水位比例值。

```Bash sudo sed -i '/^GRUB_CMDLINE_LINUX=/s/\"$/ memcg_watermark_scale_factor=100\"/' /etc/default/grub ``` * 若回显不为空，请执行如下命令，更新`memcg_watermark_scale_factor`参数值。

说明

请将100替换为目标水位比例值。

```Bash sudo sed -i 's/memcg_watermark_scale_factor=[^ "]*/memcg_watermark_scale_factor=100/' /etc/default/grub ``` 3. 执行如下命令，将参数配置固化到GRUB配置文件。 veLinux * Legacy启动模式 ```Bash grub-mkconfig -o /boot/grub2/grub.cfg ``` * UEFI启动模式 ```Bash grub-mkconfig -o /boot/efi/EFI/debian/grub.cfg ``` veLinux CentOS Compatible * Legacy启动模式 ```Bash grub2-mkconfig -o /boot/grub2/grub.cfg ``` * UEFI启动模式 ```Bash grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg ```

云服务器