文档中心

AI 数据湖服务

存储优化与治理

快照清理

AI 数据湖服务（LAS）提供多种存储优化功能，通过快照清理等能力帮助用户提升查询性能，优化存储资源。以下是存储优化功能中快照清理功能的详细说明及操作指南。

什么是快照清理

在数据湖表数据持续写入和更新过程中会产生新的快照与版本。随着版本增加，历史快照及其关联的底层数据文件会持续占用存储空间。快照清理功能根据配置的保留策略，定期或智能清理超出保留范围的历史快照与过期文件，降低存储成本。

注意

快照清理会永久删除超过保留范围且未被标签（Tag）引用的历史版本及关联文件。执行前请确认历史版本不再用于业务回溯、审计或数据恢复。清理后的数据不可恢复。

LAS 提供快照清理存储优化功能。打开开关后，您可以配置快照清理优化任务；配置完成后，系统即可清理历史快照。快照清理支持以下模式：

智能模式：与小文件合并共用一个统一开关，开启后系统根据版本增量和保留策略自动选择清理时机，无需人工干预，不支持手动立即执行。快照保留支持按时间和按版本两种方式，默认均保留 14（天/个），可配置为 1～365 的正整数。

定时模式：系统按固定周期调度执行，支持手动立即触发。

使用限制

表类型	支持模式	说明
Lance 表	智能模式、定时模式	智能模式为白名单功能，如果您希望使用此功能，提交工单联系开通功能白名单。智能模式和定时模式不支持直接切换。新建 Lance 表仅支持智能模式；已开启定时模式存储优化的存量 Lance 表继续按定时模式运行，一旦关闭定时模式，再次开启时只能选择智能模式，无法再回到定时模式。 Lance 表同一时间只能绑定一个计算组。同一张 Lance 表的小文件合并、快照清理和索引维护任务串行执行；不同表之间可以并行执行。
Iceberg 表	定时模式	-

准备工作

资源要求

Lance 表执行智能模式维护任务前，需先绑定可用的 EMR Serverless 队列和计算组。绑定的队列需处于正常状态，计算组所在地域需与目标 catalog 一致。按队列实际 CU 使用量计费。定时模式沿用原 CU 计费规则。具体绑定步骤和说明，请参见：计算资源配置。

Iceberg 表使用公共队列资源，按公共队列资源使用量计费。

权限要求

开启、关闭功能、修改已有功能配置及切换运行模式需要目标表的 ALTER 权限；

绑定或修改维护计算组需要目标表的 ALTER 权限和目标计算组的使用权限；

立即执行任务需要目标表的 ALTER 权限和当前计算组的使用权限。

配置快照清理

启用智能模式（推荐）

说明

以下智能模式配置步骤仅适用 Lance 表。

进入存储优化页面。

在页面顶部横幅中打开智能模式开关。

如果页面提示尚未绑定维护计算组，在弹窗中选择可用的 EMR 队列与计算组并完成绑定，具体操作，请参见：计算资源配置。

确认快照保留策略。系统支持按时间保留和按版本保留，默认均为 14；若需修改，可在执行配置区域单击快照保留版本/时间旁的编辑图标进行调整，支持 1～365 的正整数。

开启后，系统将根据版本增量与保留策略自动调度快照清理任务，您可在任务列表中查看调度记录与清理效果。

配置定时模式

为 Lance 表配置定时模式

说明

定时模式仅适用于此前已开启定时模式的存量 Lance 表，用户可查看并调整定时参数。新建 Lance 表仅支持智能模式，无法新建定时模式任务；存量表一旦关闭定时模式，再次开启只能选择智能模式。

进入存储优化界面。

在快照清理页签，单击右上角的修改配置，调整配置参数。

参数	配置说明
资源分配	用户设定的参考基准，实际执行时系统会根据表数据规模及任务运行情况动态调整资源用量。
快照保留策略	设置快照保留的时间范围，超时快照会在优化任务执行时被清理。
周期调度	选择是否开启周期调度。关闭周期调度：任务配置完成后，您需手动触发任务执行。开启周期调度：您还需配置周期调度策略，包括时间间隔粒度和间隔周期。任务配置完成后，系统会按您配置的调度周期自动执行任务。
终止前一个优化任务	设置是否强制终止前序优化任务。打开开关后，在每次调度任务执行时强制终止前一个优化任务。
自定义配置	根据需要配置快照清理任务运行过程中涉及的自定义参数。Lance 表支持配置的自定义参数如下： error_if_tagged_old_versions：当待清理范围内存在被标签标记的旧版本时是否报错并中断，避免误删被标记保留的版本。

为 Iceberg 表配置定时模式

选择目标表，进入存储优化界面。

在快照清理页签，打开快照清理功能，配置快照清理的参数。

参数	配置说明
资源分配	用户设定的参考基准，实际执行时系统会根据表数据规模及任务运行情况动态调整资源用量。
快照保留策略	设置快照保留的时间范围，超时快照会在优化任务执行时被清理。
周期调度	选择是否开启周期调度。关闭周期调度：任务配置完成后，您需手动触发任务执行。开启周期调度：您还需配置周期调度的调度时间和间隔周期。任务配置完成后，系统会按您配置的调度周期自动执行任务。
终止前一个优化任务	设置是否强制终止前序优化任务。打开开关后，在每次调度任务执行时强制终止前一个优化任务。
自定义配置	根据需要配置快照清理任务运行过程中涉及的自定义参数。Iceberg 支持配置的自定义参数如下： older_than：指定早于该时间戳的快照可被清理。 retention_days：快照保留天数。 max_concurrent_deletes：删除文件时允许的最大并发数。 stream_results：是否流式返回待删除文件列表，以降低内存占用。 snapshot_ids：显式指定要清理的快照 ID 列表。

执行优化任务并查看优化结果

完成快照清理配置后，您可在任务列表中查看任务执行记录与清理前后效果。不同表类型支持的运行模式不同，任务列表也相应区分：

Lance 表：控制台按智能模式和定时模式分别提供任务列表。

智能模式：任务由系统按版本增量与保留策略自动调度，不支持手动立即执行，您只需在智能模式任务列表中查看调度记录、执行状态与清理效果。

定时模式：在未开启周期调度或需要临时执行时，可在定时模式任务列表中手动触发任务立即执行，也可查看历史执行记录与清理效果。

Iceberg 表：仅支持定时模式，统一在定时模式任务列表中查看任务执行记录与清理效果；在未开启周期调度或需要临时执行时，可手动触发任务立即执行。

最近更新时间：2026.10.27 10:16:07

这个页面对您有帮助吗？

有用

无用