- 文档首页
AI 数据湖服务
元数据管理
存储优化与治理
Hive 表
Hive 表
LAS Catalog 为 Hive 表提供分区生命周期管理能力。您可以按分区名称、分区创建时间或分区变更时间配置归档规则,将超出保留范围的分区数据从 TOS 标准存储转至 TOS 归档存储,降低冷数据存储成本。
- 请根据业务实际需求配置分区生命周期管理,不建议设置过短时间,因为数据从 TOS 归档存储取回到 TOS 标准存储中,需要在 TOS 中操作解冻,并会收取对应取回费用。取回费用参考:数据取回费用。
- 目前 TOS 的生命周期管理有一些约束限制,LAS 同样遵循这些约束限制:
- 生命周期规则生效时间:创建生命周期规则后不会立即对桶内所有对象生效,会存在一定的延迟。即生命周期规则创建后的 24 小时内,TOS 会加载规则。规则加载完成后,TOS 会在 24 小时内开始启动执行。
- 生命周期规则数量:单个桶的生命周期规则最多不超过 1000 条,并且一个桶中所有生命周期规则的 JSON 描述总大小不能超过 20KB。规则的 prefix 长度(也就是表的存储路径)不能超过1024字节。
- 归档后数据使用限制:CopyObject 、GetObject、SetObjectMeta、UploadPartCopy 接口设置归档存储对象,或者移动、重命名和下载归档存储对象之前,需要先恢复对象,否则会失败。
- 若 insert overwrite 表数据,会删除老的数据,上传新的数据。新数据的文件上传时间就是表的分区变更时间。该表的生命周期倒计时会从最后一次更新时间开始计算。
- 若 insert into 表数据,历史数据的更新时间不会改变,新插入的数据更新时间为最新时间。这可能会造成表的旧分区数据已经达到归档条件进入归档型存储,而新分区的数据依然在标准存储中的情况。
准备工作
- 使用分区生命周期管理功能需要目标表的 write 权限。
- 计费项为 cpu_hour_{region},按量付费,每小时出账单。
- 每个客户执行分区清理任务的资源消耗最高不超过 10 CU/小时。
配置分区生命周期管理
- 登录 LAS 控制台,选择目标地域,在 湖管理 > 元数据 > Catalog 页面选择目标 Catalog、数据库和数据表,进入表详情。
- 进入 存储优化 > 分区生命周期管理 页签,打开分区生命周期管理功能。
-
-
注意
分区归档为异步任务,配置保存后不会立即完成归档。TOS 会在生命周期规则创建后的 24 小时内加载规则,并在加载完成后的 24 小时内开始执行。规则加载、开始执行和归档完成是不同阶段,具体说明请参见规则生效时间。 查看优化结果
开启功能后,您可以在 存储优化 > 分区生命周期管理 页面查看优化记录和效果。分区归档异步执行,配置保存后如暂未看到归档结果,可结合规则生效时间查看后续执行情况。
修改或关闭分区生命周期管理
- 登录 LAS 控制台,选择目标地域,在 湖管理 > 元数据 > Catalog 页面选择目标 Catalog、数据库和数据表,进入表详情。
- 进入 存储优化 > 分区生命周期管理 页签,根据需要执行以下操作。
- 修改配置:点击右侧 修改配置,调整分区归档规则及保留范围。
说明
删除数据表后,该表的分区生命周期管理功能会自动删除。
-
常见问题
表数量较多,如何避免超出生命周期规则数量限制?
生命周期规则数量限制以 TOS 存储桶为单位,单个桶最多支持 1000 条规则。表数量较多时,可以考虑以下方式。
- 按数据库路径配置规则(推荐):如果多张表采用相同的归档策略,可在 TOS 生命周期管理 页面,以数据库的存储路径为前缀配置规则。部分表需要单独配置时,可再开启表级生命周期管理,并核对前缀重叠设置及规则优先级。
- 使用多个存储桶:根据数据组织和管理需求,将表数据分布在多个 TOS 存储桶中。
提示 Found two rules with same prefix,如何处理?
该错误与生命周期规则的前缀重叠有关。您可以在 TOS 中开启前缀重叠,操作方法请参见设置前缀重叠。开启前,建议核对已有规则的匹配范围及执行优先级。
提示 The operation is not valid for the object's storage class,如何处理?
该错误通常表示操作涉及尚未恢复的归档对象。例如,查询归档数据或执行涉及归档文件的表重命名操作时,可能触发此错误。
您可以先在 TOS 中恢复相关文件,待恢复完成后再重试操作。恢复会生成标准存储类型的临时副本,可在副本有效期内访问;副本到期后,再次访问需要重新恢复。操作方法请参见恢复文件。
最近更新时间:2026.11.03 18:32:41