LAS Catalog 支持纳管存储在 TOS 中的 Lance 表。完成注册后,你可以在 LAS Catalog 中查看和更新表元数据,并进行索引管理、Compaction(小文件合并)和 Cleanup(文件清理)等操作。
你还可以基于已纳管的 Lance 表创建 LAS Lance 数据集,用于数据预览、SQL 查询和数据筛选。
前提条件
注册前,请确认已在 TOS 中创建 Lance 表,且能够获取该表的完整存储路径。
Lance 表的存储路径以 .lance 结尾。 待导入的数据集文件位于后续注册 Lance 表所配置的存储路径下。
操作步骤
说明
如果无需注册已有的 Lance 表,也可以在 LAS Catalog 中直接创建 Lance 表。通过该方式创建的表默认由 LAS Catalog 托管。
登录 LAS 控制台 ,在左侧导航栏选择 湖管理 > 元数据 。
选择目标 Catalog 和数据库,然后创建数据表。
配置创建参数。
在 创建数据表 页面配置基本信息:
数据表名称:输入数据表名称。 表格式:选择 Lance 。 选择存储位置:填写 Lance 表在 TOS 中的完整存储路径。路径必须以 .lance 结尾。 开启 从数据集中导入数据。
开启后,LAS Catalog 会解析存储路径中的 Lance 数据,并自动获取字段名称、字段类型和字段描述。 在 字段信息 区域检查解析结果,确认字段与源 Lance 表一致。 单击 提交 ,完成注册。
查看注册结果
注册完成后,在目标 Catalog 和数据库下选择对应的数据表,即可进入表详情页。在 基本信息 页签中,查看以下信息:
数据表名称及所属 Catalog、数据库是否正确。 存储位置是否指向目标 TOS 路径。 存储格式、输入格式和输出格式是否均为 Lance 。 字段名称、字段类型和字段描述是否符合预期。
后续操作
注册成功后,可以继续执行以下操作:
管理 Lance 表索引。 配置 Compaction 任务,合并小文件,详情请参见:小文件合并 。 配置 Cleanup 任务,清理文件,详情请参见:快照清理 。 单击 创建数据集 ,基于当前表创建 LAS Lance 数据集,并进行数据预览、SQL 查询和数据筛选,详情请参见:基于 Catalog 数据表创建数据集 。
注意事项
存储路径必须指向一个有效的 Lance 表,并以 .lance 结尾。 提交前请检查自动解析的字段信息,避免注册错误的表或路径。 如果字段未能成功解析,请优先检查 TOS 路径是否正确,以及待导入的数据集文件是否位于该路径下。