文档中心

AI 数据湖服务

存储优化与治理

Iceberg 表

Iceberg 表

LAS Catalog 为 Iceberg 表提供小文件合并、快照清理和孤儿文件治理。您可以围绕同一张表分别配置三类任务，改善文件组织，并按照保留策略清理历史快照及无效文件。

小文件合并：合并高频增量写入或小批量写入产生的小文件，改善查询效率。

快照清理：按照保留时间清理超出范围的历史快照和过期文件，降低历史数据存储占用。

孤儿文件治理：按保留策略扫描并清理孤儿文件，可通过 dry_run 预览待删除文件。

注意

清理历史快照和文件前，建议确认业务回溯、审计、恢复及长时间运行任务的需要。快照清理会永久删除超出保留范围且未被 Tag 引用的历史版本及关联文件，清理后不可恢复.

孤儿文件治理建议先采用预览模式核对路径和待清理文件。

准备工作

小文件合并、快照清理使用公共队列资源，按公共队列资源使用量计费。

开启、关闭或修改小文件合并、快照清理配置需要目标表 ALTER 权限。

立即执行任务需要目标表的 ALTER 权限和当前计算组的使用权限。

配置小文件合并

登录 LAS 控制台，选择目标地域，在左侧导航栏选择湖管理 > 元数据，选择目标 Catalog、数据库和数据表，进入表详情。

进入存储优化 > 小文件合并页签，打开小文件合并功能。

配置合并任务、调度策略及需要的自定义参数，核对后保存。

参数	说明
资源分配	设定资源参考基准，实际执行时系统会动态调整资源用量。
目标文件大小	设置需要合并的小文件大小。
分区过滤	您可通过写入 where 子句的过滤条件来圈定小文件合并的范围。在输入框中输入 where 子句内容即可，无需输入 where，例如：id = 3 and name = 'demo'。
周期调度	关闭时需手动触发；开启时配置调度时间与间隔周期，系统按周期执行。
终止前一个优化任务	开启后，每次调度执行时会强制终止前一个优化任务。
自定义配置	支持 Iceberg options、strategy 和 sort_order 参数。

开启小文件合并功能后，您可以在小文件合并页面手动触发优化任务执行，也可查看优化记录和效果。

配置快照清理

登录 LAS 控制台，选择目标地域，在左侧导航栏选择湖管理 > 元数据，选择目标 Catalog、数据库和数据表，进入表详情。

进入存储优化 > 快照清理页签。

打开快照清理功能，配置快照清理的参数。

参数	说明
资源分配	设定资源参考基准，系统根据表数据规模和任务运行情况动态调整。
快照保留策略	设置保留时间范围，超时快照在优化任务执行时被清理。原文未给出 Iceberg 的统一默认值，不使用 Lance 智能模式的 14 天作为默认。
周期调度	关闭时需手动触发；开启时配置调度时间及间隔周期。
终止前一个优化任务	开启后，每次调度执行时强制终止前一个优化任务。
自定义配置	根据需要配置快照清理任务运行过程中涉及的自定义参数。Iceberg 支持配置的自定义参数如下： older_than：指定早于该时间戳的快照可被清理。 retention_days：快照保留天数。 max_concurrent_deletes：删除文件时允许的最大并发数。 stream_results：是否流式返回待删除文件列表，以降低内存占用。 snapshot_ids：显式指定要清理的快照 ID 列表。

开启快照清理功能后，您可以在快照清理页面手动触发优化任务执行，也可查看优化记录和效果。

配置孤儿文件治理

登录 LAS 控制台，选择目标地域，在左侧导航栏选择湖管理 > 元数据，选择目标 Catalog、数据库和数据表，进入表详情。

进入存储优化 > 孤儿文件治理页签。

开启功能，配置孤儿文件治理参数。

参数	说明
资源分配	设定资源参考基准，系统根据表规模和运行情况动态调整实际资源用量。
孤儿文件保留策略	设置孤儿文件保留的时间范围，超出此处配置的时间范围的孤儿文件即会在优化任务执行时被清理。如果此处配置的时间范围和自定义中的older_than配置冲突，以自定义中的配置结果为准。
周期调度	选择是否需要打开周期调度的开关。关闭周期调度：任务配置完成后，后续您需手动触发任务执行。打开周期调度：您还需配置周期调度的调度策略，包括时间间隔粒度和间隔周期，任务配置完成后，后续会在您配置的调度周期自动执行任务。
终止前一个优化任务	开启后，每次调度执行时强制终止前一个优化任务。
自定义配置	根据需要配置孤儿文件治理任务运行过程中涉及的自定义参数： older_than：仅删除早于指定时间戳的孤儿文件，用于避免误删正在写入的临时文件。 location：指定要扫描的表路径，可用于分区表或自定义位置。 dry_run：预览模式，仅列出将被删除的文件，不实际删除。 max_concurrent_deletes：控制并发删除文件的最大线程数。 file_list_view：保留字段，部分实现中用于提供待删除文件列表的视图名称；通常可忽略。 equal_schemes：在比较文件路径时是否要求 URI scheme 一致（例如 hdfs:// 与 s3a:// 被视为不同）。 equal_authorities：在比较文件路径时是否要求 URI authority 一致（例如 namenode1:9000 与 namenode2:9000 被视为不同）。 prefix_mismatch_mode：当检测到文件路径前缀与表位置不匹配时的处理策略，可选值如 FAIL（报错）、DELETE（仍删除）、SKIP（跳过）。 prefix_listing：是否启用基于前缀的对象存储列表优化，提升扫描效率。

开启孤儿文件治理功能后，您可以在孤儿文件治理页面手动触发优化任务执行，也可查看优化记录和效果。

最近更新时间：2026.11.03 18:38:52

这个页面对您有帮助吗？

有用

有用

无用

无用