You need to enable JavaScript to run this app.
文档中心
文档控制台
注册
大数据研发治理套件

大数据研发治理套件

复制全文
下载 pdf
数据开发
元数据
复制全文
下载 pdf
元数据

在任务开发过程中,元数据支持您对使用到的 EMR Hive、EMR Doris、EMR StarRocks、EMR Serverless StarRocks、EMR Serverless Spark/Presto、LAS、ByteHouse 云数仓、ByteHouse CE 表,进行表字段、分区信息及数据的预览操作,也支持您跳转并查看相关表生成的任务情况,更有一键生成表查询语句等便捷操作。

1 使用限制

  • 不同引擎的元数据表/视图,支持查看的内容有所差异,具体如下:

    引擎类型

    表字段

    生成使用语句

    数据预览

    分区信息

    关联任务

    更多操作(导入本地 CSV 文件数据)

    EMR Serverless Spark/Presto

    支持

    支持

    -

    支持

    支持

    支持

    EMR Serverless StarRocks

    支持

    支持

    -

    支持

    支持

    支持

    EMR Hive

    支持

    支持

    支持

    支持

    支持

    -

    EMR StarRocks

    支持

    支持

    -

    -

    支持

    -

    EMR Doris

    支持

    支持

    -

    -

    支持

    -

    ByteHouse CDW

    支持

    支持

    -

    -

    支持

    -

    ByteHouse CE

    支持

    支持

    -

    -

    支持

    -

    LAS

    支持

    支持

    支持

    支持

    支持

    -

  • 除 EMR Serverless Spark/Presto 引擎外,其余引擎的元数据列表界面,目前暂时没有开放3.7 更多操作中的相关入口。

2 使用前提

  1. DataLeap 项目控制台中,已绑定相应的火山引擎 E-MapReduce(EMR)、EMR Serverless StarRocks、EMR Serverless Spark/Presto、ByteHouse 云数仓版、ByteHouse CE、湖仓一体分析服务 (LAS)引擎服务。绑定操作详见创建项目-服务绑定
  2. 元数据查看,需先在数据地图中创建对应引擎类型下的元数据采集器并执行。详见元数据采集
  3. 元数据列表中的数据预览能力,若要查看表数据详情,则当前登录账号必须拥有对表的查询权限后,才能够预览具体表数据。申请权限操作详见申请权限

3 功能介绍

3.1 功能入口

  1. 登录 DataLeap租户控制台
  2. 概览界面,显示加入的项目中,单击数据开发进入对应项目。
  3. 任务开发界面,左侧导航栏中,单击元数据按钮,进入元数据页面。

Image

3.2 查找库表

进入数据库页面,支持查找对应引擎下的数据库表信息。

  1. 在元数据界面上方的下拉框中,选定元数据库对应引擎类型,会展现出当前引擎下的实例信息和库表信息。其中 EMR Serverless Spark/Presto 元数据类型,可展现 “Catalog 数据目录.数据库.数据表” 三层结构信息。
  2. 在搜索框中:
    1. 您可以输入库名、表名或者关键字信息,来搜索相应的库表。
    2. 您也可以单击输入框右侧的折叠按钮,在右侧窗口中,LAS 引擎可根据权限类型、表责任人来进行搜索筛选;EMR、EMR Serverless Spark、EMR Serverless StarRocks、ByteHouse 云数仓版 引擎可根据库名称来筛选。

3.3 查看表字段并生成查询语句

  1. 选中表名后,表字段部分可以看到表的所有字段名称、类型和描述。
  2. 在表字段较多时,可以在搜索框中输入字段名称,搜索需要查询的相应字段。
  3. 单击左侧的勾选框,勾选字段后,单击右侧生成使用语句
    1. 若右侧没有打开的节点代码编辑器,则在生成使用语句的对话框中,会生成查询语句,可复制语句去节点编辑器中执行,单击确认按钮,关闭对话框。
    2. 若右侧有打开的节点代码编辑器,单击生成使用语句后,将自动在编辑器中生成查询语句。

3.4 数据预览

EMR Hive、LAS 表的部分数据,您可在此单击数据预览按钮进行查看。

注意

数据预览,需要当前登录账号有表的查询权限才可以预览。

3.5 分区信息

单击分区信息,可以查看 EMR Hive、LAS、EMR Serverless Spark/Presto、EMR Serverless StarRocks 表最近的分区、更新时间、行数、以及分区大小,并且可以在搜索框中,输入分区值,进行搜索相关分区信息。

3.6 关联任务

单击关联任务,可以查看 EMR Hive、EMR Doris、EMR StarRocks、EMR Serverless StarRocks、EMR Serverless Spark/Presto、LAS、ByteHouse CE、ByteHouse 云数仓版表/视图所对应的产出任务基本信息,如:任务ID、任务名称、任务周期级别、任务责任人等信息,单击高亮的任务名称即可跳转打开对应的节点任务配置。

3.7 更多操作

EMR Serverless Spark、EMR Serverless Presto 引擎下,支持新建表、导入 CSV 文件等更多操作能力:

注意

其余引擎的元数据,这里目前暂不支持新建表、导入CSV文件等功能,后续敬请期待。

Image

  • 新建表:单击新建表按钮,可跳转至数据地图界面,进行创建 LAS Catalog 表。创建操作详见管理 LAS Catalog 表
  • 导入CSV:支持将本地 CSV 文件上传到对象存储 TOS Bucket 中,并通过配置 TOS2Hive 集成任务,把 CSV 数据写入到 EMR Serverless 引擎下的 Hive 表中。操作详见本地数据写入 Hive 表
最近更新时间:2025.10.20 10:31:56
这个页面对您有帮助吗?
有用
有用
无用
无用