文档中心

AI 数据湖服务

存储优化与治理

Lance 表

LAS Catalog 为 Lance 表提供小文件合并和快照清理能力，帮助您改善文件组织，并按照保留策略清理历史快照及过期文件。对于存储在 vePFS 中的 Lance 数据集，您还可以通过生命周期管理配置数据汰换规则，详情请参见生命周期管理（数据汰换）。

注意

快照清理会永久删除超出保留范围且未被 Tag 引用的历史版本及关联文件，清理后不可恢复。配置或执行前，建议确认业务回溯、审计、恢复及数据保留要求。

注意事项

智能模式：小文件合并与快照清理通过同一个智能模式开关统一控制，开关开启或关闭后将同时对两项功能生效。系统会根据表版本、Fragment 数量、文件大小、删除比例、版本增量和保留策略自动调度任务。您无需配置固定执行周期，也不能手动立即执行。该功能需开通白名单。

定时模式（存量兼容）：仅适用于此前已开启定时模式存储优化的存量 Lance 表。您可以查看并调整已有配置。开启周期调度后，任务按周期执行；关闭周期调度后，需手动触发。

资源绑定与任务并发：同一张 Lance 表同一时间只能绑定一个 EMR serverless 计算组。小文件合并、快照清理和索引维护任务在同一张表内串行执行；不同表之间可以并行执行。

准备工作

开通功能与准备计算资源

准备处于正常状态的 EMR Serverless 队列和计算组，计算组所在地域需与目标 Catalog 一致。支持公共队列和独占队列，默认选择独占队列；独占队列仅支持通用计算组，具体配置步骤，请参见：计算资源配置。

智能模式通过绑定的 EMR Serverless 计算组执行任务。队列欠费、被删除或计算组不可用时，相关任务将无法正常提交和执行。存量定时模式沿用原 CU 计费规则，不通过 EMR Serverless 计算组执行任务。两种模式下，系统会根据表数据规模和任务运行情况动态调整资源用量。

权限要求

操作	权限
查看计算资源配置	目标表的 Describe 权限。
开启、关闭或修改存储优化配置	目标表的 ALTER 权限。模式变更仍需满足上述存量限制。
绑定或修改维护计算组	目标表的 ALTER 权限，以及所选 EMR 队列和计算组的查看、使用权限。
立即执行定时模式任务	目标表的 ALTER 权限和当前计算组的使用权限。

启用智能模式

管理存量定时模式

注意

定时模式下，小文件合并和快照清理每次执行新任务时，都会强制终止前一个尚未结束的优化任务，不受“终止前一个优化任务”开关状态影响。建议结合前序任务的运行时长配置调度周期，避免任务频繁被终止。

小文件合并

参数	说明
资源分配	设定资源参考基准，实际执行时系统会根据表数据规模和任务运行情况动态调整资源用量。
目标文件大小	配置小文件合并涉及的文件大小。
周期调度	关闭时需手动触发；开启时配置时间间隔粒度和间隔周期，系统按周期执行。
自定义配置	按需配置 Lance 小文件合并参数： target_rows_per_fragment：合并后每个 Fragment 的目标行数 max_rows_per_group：写入时每个 Row Group 的最大行数。 materialize_deletions：是否将逻辑删除的数据实体化清理 materialize_deletions_threshold：当输入文件的删除占比超过该阈值时，执行实际删除。 batch_size：合并重写时的微批大小，单位为行。 defer_index_remap：是否延迟索引重映射或维护。合并导致数据文件、行组或行 ID 映射变化时，可将索引更新留到后续独立步骤处理。

快照清理

参数	说明
资源分配	设定资源参考基准，实际执行时系统会根据表数据规模和任务运行情况动态调整资源用量。
快照保留策略	设置快照保留的时间范围。超出保留范围的历史快照在任务执行时被清理。
周期调度	关闭时需手动触发；开启时配置时间间隔粒度和间隔周期，系统按周期执行。
自定义配置	按需配置快照清理任务的自定义参数。Lance 表支持 error_if_tagged_old_versions，用于控制待清理范围内存在被 Tag 引用的旧版本时，是否报错并中断任务。

最近更新时间：2026.11.03 18:44:38

这个页面对您有帮助吗？

有用

无用