You need to enable JavaScript to run this app.
文档中心
AI 数据湖服务

AI 数据湖服务

复制全文
下载 pdf
目录、库表与函数
LAS 元数据管理概述
复制全文
下载 pdf
LAS 元数据管理概述

AI数据湖服务(LAS)元数据为您提供统一的数据湖元数据中心,把您可以把数据湖里的数据对象(表、函数等)统一注册至 LAS 元数据中,在 LAS 元数据中进行统一的组织、管理、治理,让数据能被更容易地发现、理解、访问和跨引擎协同。

背景信息

元数据管理结构说明

AI数据湖服务(LAS)元数据管理采用三层实体结构,即Catalog/Database/Table,每个租户下面有1个默认Catalog(默认名称为hive),您也可以创建其他Catalog,Catalog下面可以有多个数据库(Database),每个数据库下面可以创建多个数据表(Table)和自定义函数(Function)。
Image
主要适用于元数据隔离的场景,比如不同的集群、业务单元、组织团队等,绑定不同的Catalog,不同Catalog元数据互不可见。

基本概念

术语

概念说明

数据目录(Catalog)

数据目录是元数据管理的顶层逻辑实体,用于按照层级结构组织数据库、数据表和函数等元数据资源。不同的数据目录之间相互隔离,可用于区分不同组织、业务,并进行独立的权限管控和数据管理

数据库

数据库是数据目录下的逻辑分组,用于进一步组织和管理数据表、函数等元数据对象。用户可以按照业务应用或数据用途创建数据库,实现更精细的数据分类与访问控制

数据表

数据表是用于存储和管理结构化或多模态数据的基本对象,由字段、数据类型、存储位置等信息组成。las Catalog 支持多种表类型,并支持计算引擎对数据表进行查询、写入和维护

函数

函数是注册并持久化在 Catalog 中的计算逻辑,当前支持 Hive UDF 函数,可在SQL 查询或数据处理任务中调用,用于实现数据转换、计算和处理,支持 EMR Spark 、Presto、运行

核心功能

  • 统一注册登记:把湖里的表、分区、函数 等对象注册到Catalog,形成统一元数据入口
  • 表管理:查看 Catalog 表的数据详情、字段、分区等,不只是静态名录
  • 数据集协同:创建 Iceberg、Lance 格式数据集时,可同步注册成 Catalog 表,统一元数据管理
  • 跨引擎共享:多个计算/查询引擎可共用同一份 Catalog 元数据,不用各自重复定义
  • 元数据备份恢复:提供了 Catalog 元数据备份恢复工具,支持同地域或跨地域灾备

使用限制

以下为您介绍在使用LAS Catalog 过程中的关键限制。

限制项

数值或范围

建议

单批返回分区最大数

200000

分批拉取分区列表,避免单次请求返回超大结果集。

表加密文件格式

仅支持 PARQUET

建表时选择 PARQUET 格式后再开启表加密功能。

授权/回收请求列表上限

100 条/次

一次调用中请求列表的总长度最多 100 条,超出请拆分多次提交。

单条请求中的主体数量上限

20 个/条

一条请求中可包含的主体(用户/角色)最多 20 个,主体很多时按主体拆分为多条请求。

单主体一次授予权限上限

5000 条/主体/次

针对同一主体一次最多授予 5000 条权限点,超大权限集请分多次执行。

操作指导

配置与管理元数据

  1. 使用 LAS 元数据管理功能时,您需要先创建元数据的数据目录(Catalog)和数据库,便于后续注册数据表、函数时选用。Catalog 和数据库的创建与管理操作请参见数据目录 & 数据库管理
  2. 注册数据表/自定义函数至 LAS 元数据:数据表管理函数管理
  3. 库表的存储优化治理:小文件合并
  4. 安全与审计设置:数据动态脱敏审计日志LAS Catalog 元数据备份与恢复

相关操作

  • 将 LAS 数据集注册至 LAS Catalog:例如,创建 LAS 数据集时,选择数据集的来源 Catalog:数据集管理
  • 对接 EMR 引擎:例如,使用 EMR Serverless 队列时,可以在创建队列时设置元数据为 LAS Catalog:创建队列
最近更新时间:2026.07.27 15:27:01
这个页面对您有帮助吗?
有用
有用
无用
无用