文档中心

AI 数据湖服务

存储优化与治理

小文件合并

AI 数据湖服务（LAS）提供多种存储优化功能，通过小文件合并等能力帮助用户提升查询性能，优化存储资源。以下是存储优化功能中小文件合并功能的详细说明及操作指南。

什么是小文件合并

在数据湖管理中，小文件合并是优化查询效率和查询性能的重要手段。在数据高频次增量写入或小批量写入，可能导致大量小数据文件块生成，通过持续小文件合并可以提升存储利用率、获取更优的查询性能以及高效的数据管理。

LAS 提供小文件合并存储优化功能。打开开关后，您可以配置小文件合并优化任务，对小文件进行合并优化。小文件合并支持以下模式：

智能模式：与快照清理共用一个统一开关，开启后系统根据表版本、Fragment 数量、文件大小和删除比例自动调度优化任务，无需人工干预，不支持手动立即执行。

定时模式：系统按固定周期调度执行，支持手动立即触发。

使用限制

表类型	支持模式	说明
Lance 表	智能模式、定时模式	智能模式为白名单功能，如果您希望使用此功能，提交工单联系开通功能白名单。智能模式和定时模式不支持直接切换。新建 Lance 表仅支持智能模式；已开启定时模式存储优化的存量 Lance 表继续按定时模式运行，一旦关闭定时模式，再次开启时只能选择智能模式，无法再回到定时模式。 Lance 表同一时间只能绑定一个计算组。同一张 Lance 表的小文件合并、快照清理和索引维护任务串行执行；不同表之间可以并行执行。
Iceberg 表	定时模式	-

准备工作

资源要求

Lance 表执行智能模式维护任务前，需先绑定可用的 EMR Serverless 队列和计算组。绑定的队列需处于正常状态，计算组所在地域需与目标 catalog 一致。按队列实际 CU 使用量计费。定时模式沿用原 CU 计费规则。具体绑定步骤和说明，请参见：计算资源配置。

Iceberg 表使用公共队列资源，按公共队列资源使用量计费。

权限要求

开启、关闭功能、修改已有功能配置及切换运行模式需要目标表的 ALTER 权限；

绑定或修改维护计算组需要目标表的 ALTER 权限和目标计算组的使用权限；

立即执行任务需要目标表的 ALTER 权限和当前计算组的使用权限。

配置小文件合并

启用智能模式（推荐）

说明

以下智能模式配置步骤仅适用 Lance 表。

进入存储优化页面。

在页面顶部横幅中打开智能模式开关。

如果页面提示尚未绑定维护计算组，在弹窗中选择可用的 EMR 队列与计算组并完成绑定，具体操作，请参见：计算资源配置。

开启后，系统将根据表状态自动调度小文件合并任务，智能模式不支持手动立即执行，您可在任务列表中查看调度记录与效果。

配置定时模式

为 Lance 表配置定时模式

说明

定时模式仅适用于此前已开启定时模式的存量 Lance 表，这类表继续按定时模式运行，可查看并调整定时参数。新建 Lance 表仅支持智能模式，无法新建定时模式任务；存量表一旦关闭定时模式，再次开启只能选择智能模式。

进入存储优化界面。

在小文件合并页签，单击右上角的修改配置，调整配置参数。

参数	配置说明
资源分配	用户设定的参考基准，实际执行时系统会根据表数据规模及任务运行情况动态调整资源用量。
目标文件大小	设置需要合并的小文件大小。
周期调度	选择是否开启周期调度。关闭周期调度后，任务配置完成后需手动触发执行。开启周期调度后，您还需配置调度策略，包括时间间隔粒度和间隔周期。任务配置完成后，系统会按您配置的调度周期自动执行任务。
终止前一个优化任务	设置是否强制终止前序优化任务。打开开关后，每次调度任务执行时都会强制终止前一个优化任务。
自定义配置	根据需要配置小文件合并任务运行过程中涉及的自定义参数。支持的参数包括： target_rows_per_fragment：合并后每个 fragment 的目标行数； max_rows_per_group：控制写入时每个 row group 的上限行数； materialize_deletions：逻辑删除实体化； materialize_deletions_threshold：当某个输入文件的删除占比超过该阈值时，执行实际删除； batch_size：合并重写时的微批大小（行数）； defer_index_remap：用于延迟索引重映射或维护。当优化或合并产生新的数据文件、行组与行 ID 映射变化时，不在当前操作内立刻更新索引引用，而是将索引维护留到后续独立步骤统一处理。

为 Iceberg 表配置定时模式

进入存储优化界面。

在小文件合并页签，打开小文件合并功能。

配置小文件合并的参数。

参数	配置说明
资源分配	用户设定的参考基准，实际执行时系统会根据表数据规模及任务运行情况动态调整资源用量。
目标文件大小	设置需要合并的小文件大小。
分区过滤	您可通过写入 where 子句的过滤条件来圈定小文件合并的范围。在输入框中输入 where 子句内容即可，无需输入 where，例如：id = 3 and name = 'demo'。
周期调度	选择是否开启周期调度。关闭周期调度后，任务配置完成后需手动触发执行。开启周期调度后，您还需配置调度时间和间隔周期。任务配置完成后，系统会按您配置的调度周期自动执行任务。
终止前一个优化任务	设置是否强制终止前序优化任务。打开开关后，每次调度任务执行时都会强制终止前一个优化任务。
自定义配置	根据需要配置小文件合并任务运行过程中涉及的自定义参数。支持的参数包括 Iceberg 官方文档的 options 参数、strategy 和 sort_order 参数。

执行优化任务并查看优化结果

完成小文件合并配置后，您可在任务列表中查看任务执行记录与合并前后效果。不同表类型支持的运行模式不同，任务列表也相应区分：

Lance 表：控制台按智能模式和定时模式分别提供任务列表。

智能模式：任务由系统按表状态自动调度，不支持手动立即执行，您只需在智能模式任务列表中查看调度记录、执行状态与优化效果。

定时模式：在未开启周期调度或需要临时执行时，可在定时模式任务列表中手动触发任务立即执行，也可查看历史执行记录与优化效果。

Iceberg 表：仅支持定时模式，统一在定时模式任务列表中查看任务执行记录与优化效果；在未开启周期调度或需要临时执行时，可手动触发任务立即执行。

最近更新时间：2026.10.27 10:16:52

这个页面对您有帮助吗？

有用

无用