大数据研发治理套件
大数据研发治理套件
- 文档首页
大数据研发治理套件用户指南数据开发EMREMR Doris/Serverless Doris 集群EMR Serverless Doris
复制全文
下载 pdf
文档反馈
问问助手火山引擎 E-MapReduce（EMR）Serverless OLAP 是开源 Doris、StarRocks 在火山引擎上的全托管服务，您可以通过 EMR Serverless OLAP 灵活的创建和管理 Doris 或 StarRocks 实例以及数据。其中 EMR Serverless Doris 是基于 Apache Doris 的全托管分析型数据库服务，继承了 Doris 的 MPP 架构、亚秒级查询、实时分析能力和相对简洁的运维体验，适合做固定报表、实时数仓查询、交互式分析、探索式分析这类典型企业分析场景。
本文将为您介绍通过 DataLeap 创建 EMR Serverless Doris 节点，使用 SQL 语句，周期性的进行数据加工、查询、分析等操作。
1 使用限制
- EMR Doris SQL 任务类型可通过复制并更改类型方式进行创建 EMR Serverless Doris SQL 任务，但 EMR Serverless Doris SQL 任务类型不支持反向更改为 EMR Doris SQL 任务。
- 临时查询文件、批量复制及运维中心复制功能暂不支持 EMR Serverless Doris SQL 任务的复制并更改类型该操作。复制并更改类型操作详见3 任务目录树管理。
2 使用前提
- 已创建 EMR Serverless Doris 集群实例。详见创建实例。
- 已在 DataLeap 租户控制台及项目控制台中，绑定相应的 EMR Serverless Doris 集群实例。详见绑定 EMR Serverless Doris 实例、创建项目。
3 新建任务
任务配置步骤如下：
- 登录 DataLeap租户控制台。
- 在具体项目中进入数据开发界面，并单击新建任务按钮进行任务新建。
- 依次选择数据开发 > Serverless Doris > EMR Serverless Doris SQL 任务类型。
- 填写任务基本信息，单击确定按钮，完成任务创建。
注意
- 在项目控制台管理界面中，如果新增或修改了引擎，那么在数据开发任务新建窗口中，需刷新整个 DataLeap 数据开发界面，才能看到新增或修改后的引擎任务类型。
- 任务名称信息仅允许字符.、字母、数字、下划线、连字符、[]、【】、（）、()以及中文字符，且需要在127个字符以内。
- EMR Serverless Doris SQL 任务也可由 EMR Doris SQL 任务类型通过复制并更改类型方式进行创建。操作详见3 任务目录树管理。
4 配置任务
任务创建成功后，进入 EMR Serverless Doris 任务配置界面，您可按需编写 Doris 支持的 SQL 语法。
4.1 编辑任务
在代码编辑器界面，输入对应 EMR Serverless Doris SQL 语句，示例如下：
说明
- 在一个 EMR Serverless Doris 节点中，目前仅支持同时提交一个 Query。
- EMR Serverless Doris 集群若开启安全模式：
- 子用户执行 SQL 语句时，需确保有相应的 Doris 库表权限。
- 子用户通过 SQL 语句创建表后，数据地图中展现的表责任人为主账号信息。您可以通过数据地图> Table 管理中的移交操作，将表责任人转交，在 T+1 天后，数据安全会给责任人授予相应的表权限。转交操作详见管理 EMR Serverless Doris 表。
- 您也可以通过数据安全-我的权限模块，主动进行库表权限申请操作，以快速获取库表的权限。
开启安全模式操作详见绑定 EMR Serverless Doris 实例，子用户申请库表权限详见申请权限。
--创建 Doris 数据库； CREATE DATABASE IF NOT EXISTS emr_sd_x; --创建数据表 DROP TABLE IF EXISTS emr_sd_x.sd_test_table; CREATE TABLE IF NOT EXISTS emr_sd_x.sd_test_table ( event_day DATE, siteid INT DEFAULT '10', city VARCHAR(32) DEFAULT '', username VARCHAR(32) DEFAULT '', pv BIGINT SUM DEFAULT '0' ) AGGREGATE KEY(event_day, siteid, city, username) PARTITION BY RANGE(event_day) ( PARTITION p201706 VALUES LESS THAN ('2020-07-01'), PARTITION p201707 VALUES LESS THAN ('2020-08-01'), PARTITION p201708 VALUES LESS THAN ('2020-09-01') ) DISTRIBUTED BY HASH(siteid) BUCKETS 10 PROPERTIES("replication_num" = "1"); --清空表中历史数据 TRUNCATE TABLE emr_sd_x.sd_test_table; --插入新数据 insert into emr_sd_x.sd_test_table VALUES ('2020-07-11',27,'天津市丽县', '张三',1669); --查询 Doris 表中数据 SELECT * FROM emr_sd_x.sd_test_table;
4.2 导航栏功能区解析
功能名称 | 描述 |
|---|---|
格式化 | 依据在个性化设置中的 SQL 格式化风格的设置，格式化编辑完成的代码，使其语法结构看起来简洁明了。 |
解析 | 解析检查书写的 SQL 代码的语法和语义正确性，运行前检查语法错误信息，防止运行出错。 |
执行引擎 | 支持 Doris 执行引擎。 |
4.3 调度设置
任务配置完成后，在右侧导航栏中，单击调度配置按钮，进入调度配置窗口，您可以在此设置基本信息、调度属性、依赖等信息，详细参数设置详见：调度设置。
4.3.1 任务产出数据登记
任务产出数据登记，用于记录任务、数据血缘信息，并不会对代码逻辑造成影响。您可在调度设置 > 任务产出数据登记一栏中，设置产出登记相关信息。
对于系统无法通过解析获取产出信息的任务，EMR Serverless Doris 任务可通过手动方式登记其产出信息。如果任务含有 Doris 库表数据的产出，则强烈建议填写，以便后续维护任务数据血缘关系。
自动登记：
任务产出数据使用“自动登记”模式，则任务每次上线时，系统将根据代码解析结果自动进行更新。您可单击查看“线上版本”的产出数据、查看“草稿版本”的产出数据按钮，查看当前任务不同版本下的产出数据自动登记结果。注意
选择自动登记时，若 SQL 代码查询的字段名中包含 SQL 关键字，则需对其进行转义操作，即添加转义符号，如将 group 转义为 `group`、order 转义为 `order` 等。若不进行转义，将会影响后续数据地图中的数据血缘图谱、表生产信息等内容展现，或者您也可通过下方的手动登记方式，进行手动登记任务产出数据。
手动登记：
您手动填写的内容即为任务产出，支持填写多个。其他同引擎任务依赖时，您可在其调度设置界面，通过手动添加的方式，依据此处 Doris 任务产出的库表名信息来搜索添加依赖。 具体登记内容包括以下数据类型：- EMR Serverless Doris：该任务逻辑会将数据写入到 Doris 表，需填写 Doris 数据库名、表名、分区名，分区内容可以使用变量，如 ${date}、${hour} 形式。
- 其他：该任务逻辑不写数据到 Doris 表。
5 查询控制台
5.1 调试任务
任务代码逻辑和参数配置完成后，您可在编辑器上方，单击操作栏中的保存和调试按钮，进行任务调试。
注意
- 调试操作，直接使用线上数据进行调试，需谨慎操作。
- 数据开发界面调试日志数据，保留 15 天，您可在 15 天内查看相应的调试日志详情。
- 当引擎访问模式为安全模式时，若调试操作人在引擎绑定时未绑定 EMR LDAP 账号，将无法执行调试操作。请先前往 DataLeap租户控制台 > 引擎管理 > EMR Serverless Doris 实例绑定，完成子账号绑定后即可进行调试。操作详见绑定 EMR Serverless Doris 实例。
5.2 调试记录
调试任务开始运行后，可在下方查看调试记录，您也可以查看任务的历史运行记录，包括状态、业务日期、开始时间、结束时间、耗时、提交人等。
单击调试记录，可以查看以下详情内容：
结果：展示代码执行后的查询结果。
概览：查看运行结果的代码。
日志：查看运行详情，可下载日志。
6 提交任务
查询结果确认无误后，单击上方操作栏中的保存和提交上线按钮，在提交上线对话框中，选择回溯数据、监控设置、提交设置等参数，最后单击确认按钮，完成作业提交。 提交上线说明详见：数据开发概述---离线任务提交。
后续任务运维操作详见：离线任务运维。