E-MapReduce
E-MapReduce
- 文档首页
E-MapReduce集群管理创建与配置集群创建与克隆集群创建存算分离集群
复制全文
下载 pdf
文档反馈
问问助手存算分离是指将计算资源（如 Spark、Hive 等计算引擎）与业务数据存储分开部署，业务数据统一存放在对象存储（如 TOS）中。EMR on ECS 集群支持将 TOS 路径作为集群存储根路径（仅 EMR-4.0.0 及以后版本支持配置）和 Hive 根路径，创建存算分离集群。本文将为您介绍创建存算分离集群的方式**。**
已完成账号准备、开通 EMR 服务，详细信息请参见准备工作。
创建存算分离集群前，您需要先创建一个用于后续存储存储业务数据、作业日志和临时数据的 TOS bucket，需要保障 TOS bucket 的地域与 EMR 集群 VPC 在同一个地域。详细操作请参见创建存储桶。
说明
背景信息
术语 | 概念说明 |
|---|---|
HadoopCommon | Hadoop 生态集群的公共基础依赖底座，适用于所有基于 Hadoop 框架运行的 EMR on ECS 集群，包括 Hadoop 类型集群，以及自定义集群中安装了 Hadoop 框架组件的集群。 |
集群存储根路径 | 配置集群的默认存储根路径，用于存储作业日志、临时数据等信息。 |
Hive 根路径 | 配置 Hive 的根路径信息，即 Hive 默认建表 location，可以在创建集群后修改。 |
- 集群不部署 HDFS 服务，仅支持 TOS 路径作为集群存储根路径和 Hive 根路径，实现集群存算分离。
- 集群部署 HDFS 服务，集群存储根路径和 Hive 根路径均支持选择集群内置 HDFS 路径或 TOS 路径。
- 选择 HDFS 路径：存算一体。
- 选择 TOS 路径：存算分离。同时保留 HDFS 服务，适合存在历史数据迁移或部分组件依赖 HDFS 的过渡场景。
使用限制
仅支持 EMR-4.0.0 及以上版本的，基于 Hadoop 框架运行的数据湖集群、自定义集群。
操作步骤
详细创建入口、参数说明请参见操作步骤创建集群，创建存算分离集群，需要在软件设置中配置以下参数：
参数 | 配置指导 |
|---|---|
分析场景 | 请选择数据湖或自定义集群。 |
产品版本 | 请选择 EMR-4.0.0及以上版本。 |
可选服务（仅自定义集群） | 请确保已选择 HadoopCommon 服务 |
Hive 根路径 |
|
集群存储根路径 |
|
背景信息
术语 | 概念说明 |
|---|---|
Hive 根路径 | 配置 Hive 的根路径信息，即 Hive 默认建表 location，可以在创建集群后修改。 |
使用限制
仅支持 EMR-4.0.0 以下版本的，基于 Hadoop 框架运行的数据湖集群、自定义集群。
操作步骤
详细创建入口、参数说明请参见操作步骤创建集群，创建存算分离集群，需要在软件设置中配置以下参数：
参数 | 配置指导 |
|---|---|
分析场景 | 请选择数据湖或自定义集群。 |
产品版本 | 请选择 EMR-4.0.0以前的版本。 |
Hive 根路径 |
|
Hive 数据存储切换到 TOS
进入集群详情页面，单击服务列表>Hive>服务参数，修改hive.metastore.warehouse.external.dir和hive.metastore.warehouse.dir参数值为 TOS 桶路径。
参数 | 说明 |
|---|---|
| Hive 外部表（External Table）的默认存储根路径。修改为 TOS 桶路径后，新建外部表的默认数据路径将指向 TOS。 |
| Hive 内部表（Managed Table）的默认存储路径。创建内部表时，若未指定 LOCATION，数据将写入此路径。修改为 TOS 桶路径后，新建内部表数据将存储至 TOS。 |
添加 HDFS 服务
未安装 HDFS 服务的 EMR-4.0.0 及以上版本的集群，支持在添加服务时添加**。**
- 登录火山引擎 EMR 控制台，点击目标集群名称，进入集群概述页面。
- 点击左侧服务列表>右上角添加服务，在添加服务页面勾选 HDFS ，点击确定，提交任务，待服务状态变为正常，代表服务安装成功。