You need to enable JavaScript to run this app.
文档中心
E-MapReduce

E-MapReduce

复制全文
下载 pdf
历史动态
EMR on ECS 功能发布记录(2026年前)
复制全文
下载 pdf
EMR on ECS 功能发布记录(2026年前)

本文介绍火山引擎 E-MapReduce(EMR)各版本功能发布和文档动态,新特性将在各个地域陆续发布,欢迎体验。

2025年11月

EMR 2025年11月20日上线,重点功能更新如下:

  • EMR 平台功能更新

功能名称

功能描述

发布地域

【运维优化】上线本地盘故障一键修复功能

用户无需自行操作本地盘实例故障修复流程,EMR 提供一键式修复功能,用户仅需在运维中心>实例运维,选择本地盘故障的节点,选择需要的修复操作即可一键完成本地盘故障修复

华南、柔佛、华北、华东、中国香港

【运维优化】上线授权运维能力

当集群出现问题时,用户可以直接向 EMR 技术支持人员授予集群权限,允许其直接运维对应集群。当前提供普通授权和高级授权两种选择

【监控增强】ossa 日志新增 application 信息

  • ossa 日志新增 application 信息
  • ossa 是 EMR 对接大数据开发套件 DataLeap 所需要的组件,ossa 日志新增 application 信息后您可以直接在 DataLeap 任务详情中查看 application 信息

【监控增强】Celeborn 服务监控新增磁盘观测指标

Celeborn 服务监控指标新增:Celeborn 磁盘总容量、Celeborn 磁盘可用总容量。用户可以在集群监控中选择 Celeborn 服务查看监控信息

【监控增强】开启 Kerberos 后,EMR 支持 Tez History UI 访问

开启 Kerberos 后,用户选择对应集群,在访问链接中通过 TEZ UI 的访问链接访问 Tez History UI

【监控增强】集群监控支持节点组全选

集群监控支持一键勾选节点组内所有节点

【生态兼容】Jupyter/DolphinScheduler开箱即用 EMR

  • EMR on VKE 增强 Jupyter 兼容性,Jupyter 支持开箱访问 EMR 并直接支持 serverless 插件
  • EMR on ECS 增强 DolphinScheduler 兼容性,DolphinScheduler 支持开箱访问 EMR 并直接支持serverless插件

【生态兼容】新增 ECS 实例规格

core/task 节点组支持 ECS 本地盘机型 i4ag,适用于部署 Spark、Celeborn、Proton 等对 IO 吞吐要求较高的服务

VePFS 产品化

挂载 VePFS 的节点组支持弹性伸缩能力

  • EMR 软件栈更新

软件栈版本

功能描述

相关文档

发布地域

软件栈 EMR-V3.19.0

更改、增强和解决的问题

引擎能力优化
DolphinScheduler

  • 支持 Admin 用户修改普通用户密码

EMR-3.19.0发布说明

华南、柔佛、华北、华东、中国香港

2025年9月

EMR 2025年9月27日上线,重点功能更新如下:

  • EMR 平台功能更新

功能名称

功能描述

发布地域

节点配置支持4代实例

创建集群/节点组时支持 c4i/c4ie/r4i/r4ie 接入 EMR 实例

华南、柔佛、华北、华东、中国香港

Core 节点组支持部署集(白名单)

创建集群/节点组时支持加入部署集,建议数据存储在 HDFS 上且使用本地盘实例规格的集群开启,提升数据安全和降低单机故障影响面

控制台支持 Presto 以 File Based 方式控制权限

在支持使用 Ranger 控制 Presto 权限外,控制台新增以 File Based 方式控制权限。详情参考官方文档

支持 Kerberos 认证过期告警

当开启 Kerberos 时,如果认证过期,会通知用户,避免影响使用

支持节点变配

支持从 EMR 控制台的节点管理模块对 Master、Core、Task 节点部分实例规格做变配,支持变配的实例规格参考支持变更的实例规格

HDFS 联邦模式

新增支持 HDFS 联邦模式,详情参考 HDFS联邦

创建集群时 Hive 元数据支持 LAS Catalog

创建集群时 Hive 元数据支持三种方式:EMR 集群内置 MySQL、外置 RDS 和 LAS Catalog。

说明

生产环境建议使用外置 RDS 和 LAS Catalog, 如果您有多个引擎产品需要访问同一份数据,建议您使用 LAS Catalog, 例如 EMR Serverless Spark 和 EMR on ECS 数据湖集群同时访问一个 Hive 表。

EMR 控制台支持可视化 YARN Node Label 管理

EMR 控制台支持您对 YARN 集群队列的 Node Label(即资源池)进行可视化管理,并且支持可以把 Node Label 的资源分配到不同的队列上,包括 Node Label 资源设置、队列容量设置等。详情参考YARN 资源池管理

弹性伸缩支持 Spot 实例

配置弹性伸缩时,支持选择 Spot 实例

  • EMR 软件栈更新

软件栈版本

功能描述

相关文档

发布地域

软件栈 EMR-V3.18.0

更改、增强和解决的问题

服务版本升级

  • 【组件】Celeborn组件由0.5.0版本升级至0.5.4

引擎能力优化
Ray

  • Ray 增强Checkpoint能力,提升任务执行时的容错性。支持RayCluster(全局)和作业级别Checkpoint功能的开启和关闭
  • 新增Flow Insight能力,提升复杂任务分析能力

EMR-3.18.0发布说明

华南、柔佛、华北、华东、中国香港

2025年8月

EMR 2025年8月10日上线,重点功能更新如下:

  • EMR 平台功能更新

功能名称

功能描述

发布地域

新增开服 Region

EMR on ECS 将在香港 Region 提供服务

华南、柔佛、华北、华东、中国香港

节点配置支持4代实例

创建集群/节点组是支持 g4al/c4al/r3aldse 接入 EMR 实例

Core 节点支持优雅下线

Hadoop 自定义集群节点缩容时支持 Core 节点优雅下线

集群脚本优化

集群脚本执行时间在组件安装前和组件启动后,新增组件安装后启动前

Yarn 队列管理优化

支持界面化配置 Fair-Scheduler 以及 CDH 的队列组定时调度

可观测性增强

  • Hadoop 集群支持对 Kerberos 认证过期添加告警
  • 服务可用性巡检覆盖 livy 组件
  • 云监控事件增加 kerby 相关内容

OpenAPI/SDK 能力增强

EMR OpenAPI/SDK 支持创建弹性预约实例

  • EMR 软件栈更新

软件栈版本

功能描述

相关文档

发布地域

软件栈 EMR-V3.17.0

更改、增强和解决的问题

服务版本升级

  • 【组件】Dolphinscheduler 组件由3.1.9版本升级到3.2.2。
  • 【组件】Kuberay 组件由1.1.0版本升级到1.3.0。
  • 【组件】Hudi 组件版本由0.14.1版本升级到0.15.0。

引擎能力优化

  • Spark
    • 分区表 insert command 支持更新统计信息。
    • 支持数据湖格式Lance 的 DDL。
    • Bolt(Native Engine) Runtime 时支持 Iceberg + Paimon cow 读取,支持写 ORC 格式。
  • Dolphinscheduler
    • 3.2.2 版本对工作流启动参数、全局参数和项目参数的数据类型进行了扩展,不再局限于固定的 VARCHAR 类型。

EMR-3.17.0发布说明

华南、柔佛、华北、华东、中国香港

2025年6月

EMR 2025年6月10日上线,重点功能更新如下:

  • EMR 平台功能更新

功能名称

功能描述

发布地域

服务状态监控增强

新增支持在云监控配置策略下列服务状态,会以发生次数为指标,以30秒的延迟上报云监控:

  • ZooKeeper 服务不可用
  • ZooKeeper Leader 重新选举
  • ResourceManager 不可用
  • ResourceManager 主备切换
  • HiveServer2 不可用
  • HiveMetastore 不可用
  • HDFS 服务不可用
  • NameNode 主备切换
  • DataNode 不可用
  • Hmaster 主备切换

华南、柔佛、华北、华东

服务巡检增强

在运维中心,增加了服务实时状态看版,以快速查看服务状态以及定位不可用服务。

自定义部署增强

KyubbiServer 可以在 Master 节点组中自定义部署。

DolphinScheduler 增强

EMR 的 DolphinScheduler 组件支持语音告警功能。

访问链接优化

  • 访问链接展示所有配置了公网链接的节点或弹性高可用IP的服务地址
  • 访问链接网络协议更新为更安全的 https
  • EMR 软件栈更新

软件栈版本

功能描述

相关文档

发布地域

软件栈 EMR-V3.16.0

更改、增强和解决的问题

服务版本升级

  • 【组件】Proton 组件由 2.2.8版本升级至2.3.0。
  • 【组件】Trino 组件由446版本升级到474。

引擎能力优化
Proton

  • DataServer 实现负载均衡。

Trino

  • Iceberg 连接器增强
    * 支持时间旅行查询(如 SELECT ... FROM table FOR TIMESTAMP AS OF ...)。
    * 新增表版本管理功能。
  • SQL 语法扩展
    * 添加 GROUPING SETS 对多列聚合的优化支持。
    * 支持 JSON_TABLE 函数解析嵌套 JSON 数据。

Spark

  • Parquet Read Prefetch 优化

EMR-3.16.0发布说明

华南、柔佛、华北、华东

2025年4月

EMR 2025年4月17日上线,重点功能更新如下:

  • EMR 平台功能更新

功能名称

功能描述

发布地域

控制台报错信息增强

控制台的报错信息(如操作权限不足),支持一键使用火山引擎AI智能助手进行故障诊断。

华南、柔佛、华北、华东

YARN资源池优化

支持配置多级队列使用资源池管理的能力。

日志中心增强

新增了可查看日志的文件:hive.log。

首次登陆EMR优化

优化了子账号首次登陆EMR时的权限设置流程。

运维中心优化

对部分异常节点,支持强制重新的操作选项以跳过在原机器对故障的处理流程。

EMR GPU集群优化

支持了CPU集群添加GPU节点组,以及GPU集群添加CPU节点组的EMR架构。

  • EMR 软件栈更新

软件栈版本

功能描述

相关文档

发布地域

软件栈 EMR-V3.15.0

新增功能

  • Paimon
    • 新增Deletion Vector,提升实时更新和查询性能。
    • 新增通用文件索引机制,改善OLAP查询性能。

更改、增强和解决的问题

服务版本升级

  • 【组件】Proton 组件由 2.2.3版本升级至2.2.8。
  • 【组件】Paimon组件由0.6.1版本升级至0.8.2。

引擎能力优化
Proton

  • 优化强一致模式元数据处理。
  • 优化读数据过程中DataServer宕机的重试机制。
  • 移除认证过程的冗余日志。
  • 优化线程池释放流程。
  • 优化了spark job committer提交逻辑。
  • 支持客户端 URL 透明转换。

Paimon

  • Flink维表加载提速。
  • Spark、Hive兼容性提升。

Spark

  • Bolt 加速
    • 支持 Parquet + ZSTD Native Writer。
  • Java Runtimer
    • 支持 jdk17。
    • Count Distinct 算子优化。
    • 小文件合并优化。
    • Proton committer 修复_SUCCESS 文件冲突问题。

Ranger

  • 新增 Ranger TOS Plugin可以在Ranger UI 界面设置TOS权限。

EMR-3.15.0发布说明

华南、柔佛、华北、华东

2025年3月

EMR 2025年3月6日上线,重点功能更新如下:

  • EMR 平台功能更新

功能名称

功能描述

发布地域

预约弹性实例(时段型)上线

华北3、华北4区域上线了预约弹性实例(时段型)。以较优惠的价格预约该实例,并在固定的时间段使用(当前每天2 ~ 18点),适合大数据潮汐计算峰值在固定时间段内的场景,以达到降本的目的。

说明

如需操作本功能请通过 提工单的方式,联系火山引擎技术支持人员。

华南、柔佛、华北、华东

Docker on YARN 上线

在 Hadoop 集群中,可以选择部署 Docker on YARN。

YARN 队列管理增强

  1. 区别了队列管理中 RefreshQueue 与重启的边界,一般的队列管理操作系统将自动执行 RefreshQueue 以立即生效而非重启。
  2. 新增企业级 YARN Node Labels 管理功能,可以在服务管理 > YARN > 资源池中,对 Capacity Scheduler 进行如下配置:
    1. 界面化配置 YARN Node Labels。
    2. 界面化配置 YARN Queue 以及其与 Node Labels 的资源分配关系。

访问链接优化

  1. 在开启了集群高可用后,访问链接采用动态 IP 方案,保证在 WebUI 的高可用。
  2. 新增了 Flink、HBase 的 WebUI。

操作日志优化

  1. 新增以百分比形式显示操作的进度。
  2. 增加对异常任务/运行中任务的搜索定位机制。

集群缩容增强

Hadoop 集群在进行缩容操作时,支持指定节点。

监控指标支持导出

Flink、StarRocks、Spark 组件的指标支持从云监控平台中导出到本地如 Prometheus 等系统中。

服务参数增强

在集群创建完成后,可以将已有的服务参数导入,并刷新集群中现有参数。

服务管理优化

  1. 提供强制关闭服务的操作,可以在如 OOM 的场景通过 Kill -9 的方式终止服务。
  2. 服务管理操作历史中,区分了系统操作与人工操作以避免理解歧义。
  • EMR 软件栈更新

软件栈版本

功能描述

相关文档

发布地域

软件栈 EMR-V3.14.0

新增功能

  • Proton
    • 全面支持分层桶 TOS 分层桶(HNS)
      • 支持获取目录修改时间。
      • 支持append空对象。

更改、增强和解决的问题

服务版本升级

  • 【组件】Proton 组件由 2.1.5版本升级至2.2.3。
    • 强一致模式成员变更优化。
    • FileSystem 兼容性提升:随机读场景优化。
    • 缓存模式添加更多监控指标。

引擎能力优化
Spark

  • 函数 GET_JSON_OBJECT 性能优化。
  • TOS 分层桶(HNS)场景下 Spark commiter 优化。

Kyuubi

  • 更新 Kyuubi 为数据湖集群的默认组件。

EMR-3.14.0发布说明

华南、柔佛、华北、华东

2025年1月

EMR 2025年1月2日上线,重点功能更新如下:

  • EMR 平台功能更新

功能名称

功能描述

发布地域

项目级授权

EMR 权限管理支持在原有的添加策略授权的基础上,额外选择项目范围,从而将权限限定在指定的项目中,实现子账号仅拥有某个项目下 EMR 资源的权限。

华南、柔佛、华北、华东

系统盘扩容

当系统盘的可使用空间不足时,可扩容系统盘大小。

SDK

新增 TOSFS Python SDK,支持以标准的的 fsspec 文件语义读写 TOS,且支持 TOS 分层桶。

服务可用性巡检

增加服务可用性巡检,覆盖范围为 HDFS、Yarn、Hive、StarRocks、Dohphin Schedule、Kyuubi、Presto。

创建集群引导优化

创建集群时增加配置引导的提示。

配额不足跳转优化

优化产品配额跳转流程,创建集群时如 ECS、EBS 等达到配额上限,可以根据提示跳转到配额中心申请配额提升。

服务参数优化

服务参数生效范围为节点时,展示具体生效的节点。

集群监控优化

优化节点上磁盘监控,将数据盘、系统盘的监控指标区分展示。

弹性伸缩通知优化

优化弹性伸缩成功/失败后的通知文案,增加本次弹性扩缩容操作的节点数量变化。

  • EMR 软件栈更新

软件栈版本

功能描述

相关文档

发布地域

软件栈 EMR-V3.13.0

新增功能

  • Proton
    • 支持单个应用跨 Region 访问 TOS。
    • TOS 分层桶场景下,支持获取目录修改时间。
  • Spark
    • 增加 Spark 监控指标。
    • Spark UI 支持显示 python 堆栈信息。

更改、增强和解决的问题

服务版本升级

  • 【组件】Iceberg 组件由1.4.3版本升级到1.5.2。
  • 【组件】Proton 组件由 2.1.3版本升级到2.1.5。
  • 【组件】Celeborn 组件由0.3.1版本升级到0.5.0。
  • 【组件】TOS Proton SDK 组件由 2.5.7版本升级到2.8.0。

引擎能力优化

  • Hadoop
    • 部分开箱参数优化。
  • Hive
    • 部分开箱参数优化。
  • Proton
    • 支持单个应用跨 Region 访问 TOS。
    • TOS 分层桶场景下,支持获取目录修改时间。
    • 存算分离场景下对火山 ECS metadata 服务增加更多重试错误码。
  • Ray
    • Ray Data 增加算子背压指标。
    • 增加 openSearch datasource。
    • Ray Dashboard 增加分页功能,支持万级task展示。
    • Ray Dashboard 增加认证能力。
    • Ray Core优化Worker 弹性扩缩容性能。
  • Spark
    • 部分开箱参数优化。
    • 增加部分 Spark 指标。
    • Spark UI 支持显示 python 堆栈信息。
    • native engine 升级。

EMR-3.13.0发布说明

华南、柔佛、华北、华东

2024年11月

EMR 2024年11月7日上线,重点功能更新如下:

  • EMR 平台功能更新

功能名称

功能描述

发布地域

集群缩容

支持 Core 节点组缩容功能,当 EMR 集群资源过剩时,可以对 Core 节点组进行缩容,降低使用成本(该功能白名单发布)。
付费类型为包年包月的 Task 节点组支持缩容。

华南、柔佛、华北、华东

节点组删除逻辑优化

删除 Task 节点组,组内节点全部释放,实现批量释放资源。

大数据专家服务

上线大数据专家服务,为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,详情参考大数据专家服务计费说明

Las元数据管理

E-MapReduce支持Las ,提供了统一的元数据构建及企业级的数据权限控制能力,支持无缝接入包括 Hive、Spark 在内的多种计算引擎(该功能白名单发布)。

集群监控

增加Flink 、Spark服务监控。

价格展示优化

增加配置变更/资源扩缩容带来的补款/退款价格详情展示,并优化价格展示文案。

服务日志优化

仅展示已集成的服务的日志查看。

集群操作日志优化

展示丰富的日志信息。

  • EMR 软件栈更新

软件栈版本

功能描述

相关文档

发布地域

软件栈EMR-V3.12.0

新增功能

  • 【组件】Spark Native 支持(Spark代码或Spark SQL)通过声明一个头命令的方式来决定提交到Spark Native或传统Spark。
  • 【组件】StarRocks 支持负载数据类型直读直写。

更改、增强和解决的问题

服务版本升级

  • 【组件】Hadoop 组件由3.3.4版本升级到3.3.6。
  • 【组件】Zookeeper组件由 3.7.0版本升级到3.7.3 。
  • 【组件】Proton 组件由 1.9.0版本升级到2.1.3。
  • 【组件】StarRocks 组件由3.2.7版本升级到3.2.11。
  • 【组件】Doris 组件由 2.0.10版本升级到2.0.14。

引擎能力优化

  • 服务默认参数调整优化
    • MapReduce参数优化
      • mapreduce.input.fileinputformat.input.dir.recursive 设置为 true
    • Hive参数优化
      • hive.allow.udf.load.on.demand 设置为 true
    • Yarn参数优化
      • yarn-site新增yarn.cluster.max-application-priority,默认值100

EMR-3.12.0发布说明

华南、柔佛、华北、华东

2024年7月

EMR 2024年7月31日上线,重点功能更新如下:

  • EMR平台功能更新

功能名称

功能概述

发布地域

实例规格支持g3al和g3il

  • 创建、扩容集群时支持使用g3al和g3il实例规格。

华南、柔佛、华北、华东

弹性伸缩支持 v2.5.0 软件栈

  • 从v2.5.0版本开始, EMR 2.x 版本支持弹性伸缩功能。针对有明显的波峰波谷业务场景,开启弹性伸缩可以实现降本。弹性伸缩功能支持时间规则和负载两种伸缩类型。
  • EMR软件栈更新

软件栈版本

功能描述

相关文档

发布地域

软件栈EMR-V2.5.0

新增功能

  • 新增组件Airflow2.5.3,Dolphinscheduler2.9.3。
  • 新增组件Spark 3.5.1, 用户使用v2.5.0 软件栈可以选择部署Spark 3.5.1或者2.4.8。
  • 新增组件Iceberg 1.4.3,DeltaLake3.1.0,Paimon0.6.1,仅当部署Spark3.5.1时支持。
  • 通过spark.merge.files.enabled和spark.merge.files.number参数可启动和关闭小文件合并,该功能仅对Spark 3.x组件生效。
  • 优化Spark和Hive开箱参数,根据节点规格动态调整Spark execute CPU和内存资源,支持Hive运行时动态加载 UDF。
  • Hive支持SMB(Sort-Merge-Bucket)Join,提升处理大规模数据集时的查询性能。

更改、增强和解决的问题

  • 【组件】Trino组件版本由412升级至446。

遗留问题

  • Spark Native Engine暂不支持Iceberg、Hudi数据湖格式,待后续版本支持。

EMR-2.5.0 版本说明

华南、柔佛、华北、华东

2024年7月

EMR 2024年7月2日上线,重点功能更新如下:

  • EMR平台功能更新

功能名称

功能概述

发布地域

SparkSQL与StarRocks湖仓一体化

  • 在EMR数据湖集群或自定义集群中使用SparkSQL,可以对StarRocks集群或者ServerlessOLAP的StarRocks集群进行表的直读直写。
  • 在该功能下,可以实现实时(StarRocks)、离线(SparkSQL)的同一元数据场景。

华南、柔佛、华北、华东

弹性伸缩形态拓展

  • 支持在弹性伸缩中,对只进行时间的扩容的规则,绑定ESI弹性预约实例,节约27%的成本。
  • Presto、Trino集群支持弹性伸缩,并支持按时间和运行app和pending app的负载规则。对使用这两种引擎工作时间进行即席查询的场景,可以设置更经济的弹性伸缩规则了。

集群扩容支持尽力交付

集群的节点组扩容时,可以选择按本次扩容能交付的数量而非要求的数量进行交付。最大程度上提高资源的获得性。

  • EMR软件栈更新

软件栈版本

功能描述

相关文档

发布地域

软件栈EMR-V3.11.0

新增功能

  • 【组件】提供Spark组件直读直写StarRocks特性。Spark可用直接读写StarRocks的数据文件,避免和StarRocks交互给StarRocks造成的压力。

更改、增强和解决的问题

  • 【组件】Paimon组件去掉白名单,已生产可用。
  • 【组件】Proton组件由1.8.4版本升级到1.9.0。
  • 【组件】提供Flink读写Protobuf。

遗留问题

仅在最新 EMR-1.14支持交互式分析查询 Starrocks、Doris 组件,已经创建的集群扩容不受影响。

EMR-3.11.0发布说明

华南、柔佛、华北、华东

2024年5月

EMR 2024年5月7日上线,重点功能更新如下:

  • EMR平台功能更新

功能名称

功能概述

发布地域

节点组扩容优化

  • Yarn体系下可以更灵活地调整自定义的NodeLabel以及Queue。
  • 在使用存算分离架构数据湖集群时,支持对Core节点组进行扩容。

华南、柔佛、华北、华东

OLAP优化

  • StarRocks以及Doris集群,FE的部署数量上限由3个提升到了5个。
  • StarRocks以及Doris集群,将默认的BE节点数从3个调整为4个。

DophinScheduler自定义拓扑

DophinScheduler Worker支持自定义部署到任意的Core或者Task节点组,实现计算节点和调度节点混合部署。

  • EMR软件栈更新

软件栈版本

功能描述

相关文档

发布地域

软件栈EMR-V3.10.0

新增功能

  • 【组件】Spark中提供Native引擎功能,是一款自研的湖仓分析加速C++引擎,使用向量化计算、Codegen等加速技术等。

更改、增强和解决的问题

  • 【组件】Proton组件由1.8.0版本升级到1.8.4,优化访问TOS时的吞吐与请求次数、以及小文件写等场景,参考:Proton 发行版本
  • 【组件】HBase组件由2.3.7升级为2.5.2,并和Phoenix完成适配,参考:apache官网
  • 【组件】YARN组件修复开源问题[YARN-11178],解决在Kerbeor环境下CPU繁忙问题。

遗留问题

  • 【组件】当前 Spark 3.5.1 版本暂不支持 Spark on GPU 计算,我们将在开源社区提供该能力后,再发布支持 Spark on GPU 的组件。
  • 【组件】Hive组件集成 HBase 执行聚合函数时不支持tez引擎。

EMR-3.10.0发布说明

华南、柔佛、华北、华东

2024年3月

EMR 2024年3月14日上线,重点功能更新如下:

  • EMR平台功能更新

功能名称

功能概述

相关文档

发布地域

支持创建Kerberos安全类型集群

Kerberos安全类型集群支持使用外部创建的KDC进行统一的身份管理和认证正式发布。

华南、柔佛、华北、华东

自定义标签分账

用户在创建集群/后续修改编辑的标签 同步到集群下所有的资源实例,用户可以根据标签进行分账 和 下载查询。

子账号开通EMR产品

主账号/拥有EMRFullAccess/AdministratorAccess权限的子账号可以登陆EMR控制台进行云资源访问授权

自定义部署拓扑支持Celeborn组件

Celeborn Worker 允许部署在独立Core和Task节点。

支持EMR及其底层资源在项目间的移动

  • 对接官网平台Project 父子资源关系,实现EMR集群及其内部资源的批量移动。
  • 移动父资源时会伴随移动子资源,涉及到项目管理的操作都会随项目关系变化而变化,比如权限、账单。

项目配置

集群创建和扩容效率提升

集群5分钟完成交付,允许库存不足时部分节点优先交付。

集群监控指标丰富

包括Kyuubi、Presto、Trino 服务监控指标丰富。

  • EMR软件栈更新

软件栈版本

功能描述

相关文档

发布地域

软件栈EMR-V3.9.0

新增功能

  • 【组件】HBase组件中新增ThriftServer服务。

更改、增强和解决的问题

  • 【组件】Spark组件版本由3.3.3升级为3.5.1。
  • 【组件】StarRocks组件版本由3.1.6升级为3.2.3,支持Assume role方式访问对象存储TOS,以及访问Paimon数据。且在Spark和Flink中集成了StarRocks connector。
  • 【组件】Hudi组件版本由0.12.2升级为0.14.1。
  • 【组件】Iceberg组件版本由1.2.0升级为1.4.3。
  • 【组件】Airflow组件版本由2.4.2升级为2.7.3。
  • 【组件】DolphinScheduler组件版本由3.1.7升级为3.1.9。
  • 【组件】Proton组件由1.7.0升级为1.8.0,支持按路径配置是否缓存,优化读吞吐,优化Meta RPC执行效率;

EMR-3.9.0发布说明

华南、柔佛、华北、华东

2024年1月

EMR 2024年1月25日上线,重点功能更新如下:

  • EMR平台功能更新

功能名称

功能概述

相关文档

发布地域

预置告警模板

云监控上线EMR预置告警模板,可以一键应用,简化告警配置的操作流程

华南、柔佛、华北、华东

StarRocks 弹性伸缩

StarRocks独立集群支持自定义时间扩容和缩容,调整集群资源

弹性伸缩

华南、柔佛、华北、华东

集群监控指标丰富

包括Yarn、Hive、Celeborn 服务监控指标丰富

华南、柔佛、华北、华东

脚本功能优化

支持设置脚本的执行超时时间;如果该脚本执行失败,支持继续执行下一个脚本

华南、柔佛、华北、华东

  • EMR软件栈更新

软件栈版本

功能描述

相关文档

发布地域

软件栈EMR-V3.8.0

  • 【组件】Celeborn组件版本由0.3.0升级为0.3.1。
  • 【组件】StarRocks组件版本由3.1.4升级为3.1.6。
  • 【组件】Ranger组件版本由2.1.0升级为2.3.0。
  • 【组件】Impala组件支持LZO数据压缩格式。
  • 【组件】开箱参数优化:
    • Kyuubi组件默认开启Spark动态资源调整参数。
    • Doris组件根据ECS机型动态设置内存。
  • 【组件】存算分离场景下,Proton的特性增强。
    • 支持元数据自动同步功能;
    • ObjectInputStream连接复用优化;
    • 优化Cache模式下随机读性能,Cache miss场景下追平RawFs;
    • RawFs支持Fuse;
    • 解决若干bug;
  • 【组件】Flink 集成Bytehouse CE Connector,实现数据写入能力
  • 【组件】存算分离场景下,优化 Spark 关于job committer 的配置参数。
  • 【组件】存算分离场景下,Impala组件支持读写存储在对象存储TOS中的Hive表。
  • 【组件】存算分离场景下,对存储在对象存储TOS中的Hive的parquet表,Sqoop支持增量导入数据到该表中。
  • 【组件】适配云上生态产品DataLeap,在DataLeap中终止Hive任务后,EMR Hive中会也同步将任务进行kill掉。

EMR-3.8.0 版本说明

华南、柔佛、华北、华东

2023年12月

EMR 2023年12月07日上线,重点功能更新如下:

  • EMR平台功能更新

    功能名称

    功能概述

    相关文档

    发布地域

    StarRocks 存算分离集群

    StarRocks V3.1.4 版本,支持创建存算分离集群,提升集群灵活性、处理性能以及更好的成本效益。

    创建 StarRocks 存算分离集群

    华南、柔佛、华北、华东

    StarRocks 服务监控指标

    更新 StarRocks 服务监控指标:新增 StreamLoad 导入字节数、导入行数监控;新增 FE 组件失败、超时、成功的 Query 数监控

    StarRocks 监控指标

    GPU 计算机型

    EMR 提供 GPU 计算机型,同时支持 Spark Rapids,为 Spark 做算子加速,提升计算性能,并降低使用成本。

    Spark on GPU 最佳实践

  • EMR软件栈更新

    软件栈版本

    功能描述

    相关文档

    发布地域

    软件栈EMR-V3.7.0

    新增功能

    • 【组件】Doris 提供 2.0.2 版本号和 1.2.5 版本号。
    • 【组件】StarRocks 提供 3.1.4 版本号和 2.5.13 版本号。3.1.4 版本下支持 StarRocks 的存算分离特性。

    更改、增强和解决的问题

    • 【组件】StarRocks 版本由 2.5.8 升级到 2.5.13。
    • 【组件】Trino 组件版本由 412 升级到 432。
    • 【组件】Pulsar 组件版本由 2.9.1 升级到 3.0.1。
    • 【组件】丰富 Doris、StarRocks、Kyuubi 组件的监控指标数据。
    • 【组件】Kerby 组件修复票据 renew 等问题。
    • 【组件】Ranger 组件中支持 role 和 user 创建和删除功能。

    EMR-3.7.0 版本说明

    华南、柔佛、华北、华东

2023年10月

EMR 2023年10月26日上线,重点功能更新如下:

  • EMR平台功能更新

    功能名称

    功能概述

    发布地域

    Kerberos 集群能力

    • 高安全类型的集群,其开源组件以 Kerberos 安全模式启动,因此只有经过认证的客户端(Client)才能访问集群内服务。
    • 目前适配 Kerberos 能力的集群类型包括 Hadoop、Kafka、HBase、Flink 以及自定义集群。

    该功能白名单发布

    华南、柔佛、华北、华东

    EMR 新增适配 GPU 机型

    • Hadoop 集群和机器学习集群下新增 T4 与 V100GPU 机型实例,实现大数据与 GPU 混合的计算模式,满足 AI 计算的典型场景。
    • 已知以下的 GPU 集群风险,我们将在未来的版本逐步修复:
      • 同时部署 GPU 节点组与非 GPU 节点组,可能造成 Spark on GPU 任务无法提交;
      • GPU 实例目前尚不支持提交包含 Delta Lake、Hudi、Iceberg 格式的 Spark on GPU 任务。

    支持 Tez UI

    • 支持 Tez UI,便于分析任务的执行状态。
  • EMR软件栈更新

    软件栈版本

    功能描述

    相关文档

    发布地域

    软件栈EMR-V3.6.0

    • 【组件】Spark 支持 GPU 机型
    • 【组件】支持 Tez Web UI
    • 【组件】Hadoop 集群类型、Kafka 集群类型、HBase 集群类型、Flink 集群类型、自定义集群类型适配 Kerberos,该特性属于白名单功能。
    • 【组件】Tez 版本升级由 0.10.1 升级到 0.10.2
    • 【组件】Spark 组件开箱参数优化,以及内核优化提高 SQL 执行性能
    • 【组件】Hadoop 组件添加 Fuse 模块
    • 【组件】Proton 组件由 1.4.3 升级到 1.5.0 版本

    EMR-3.6.0 版本说明

    华南、柔佛、华北、华东

2023年10月

EMR 2023年10月10日上线,重点功能更新如下:

  • EMR 平台功能更新

    功能名称

    功能描述

    相关文档

    发布地域

    StarRocks 集群支持 Task 节点

    StarRocks 集群支持部署专用于计算的 CN 节点在 Task 节点组上,实现对计算资源的弹性控制。

    StarRocks 快速开始

    华东、华北、华南、柔佛

    集群状态优化

    创建集群后的不同集群状态优化,新增待支付状态,剔除异常集群状态。

    集群状态

    用户管理优化

    • 添加用户时,用户名、用户组名称在密码长度、可支持的字符上添加限制;
    • 用户重置密码时需输入原密码进行校验后,方可继续重置密码。

    用户管理

    新增多个 Core 节点组

    Hadoop 集群新增支持创建或扩容1个以上 Core 节点组,可通过该能力对存算一体架构下的 DataNode 进行滚动替换。

    节点组管理

    新增 ECS 实例

    新增 ECS 第三代 AMD 芯片实例 g3a、c3a、r3a。

  • EMR 软件栈更新

    软件栈版本

    功能描述

    相关文档

    发布地域

    软件栈 EMR-V3.5.0

    新增软件栈EMR 3.5.0

    • 【组件】新增 Proton 组件,针对存算分离场景提供的加速引擎,极大地提升作业的执行效率。关于该组件的介绍请参考 Proton 概述
    • 【组件】Spark 组件升级至 3.3.3 版本。
    • 【组件】Kafka 组件升级至 3.2.4 版本,并提供 Kafka manager 服务。
    • 【组件】优化 Hive on Tez 的任务启动流程,加载本地 jar 到 ClassPath,替换从 HDFS 下载。
    • 【组件】StarRocks 组件适配火山云对象存储 TOS 服务。
    • 【组件】Hue 组件升级至4.11.0版本。
    • 【组件】Delta Lake 组件升级至 2.3.0 版本。

    EMR-3.5.0 版本说明

    华南、柔佛、华北、华东

    软件栈 EMR-V2.4.0

    新增软件栈EMR 2.4.0

    • 【组件】优化 Hive on Tez 的任务启动流程,加载本地 jar 到 ClassPath,替换从 HDFS 下载。
    • 【组件】Hive 中新增 JobCommitter 功能,大幅提升存算分离场景下写数据到 TOS 的性能。
    • 【组件】Hue 组件升级至 4.11.0 版本。

    EMR-2.4.0 版本说明

2023年8月

EMR 2023年8月22日更新上线,重点功能更新如下:

  • EMR 平台功能更新

    功能名称

    功能描述

    相关文档

    发布地域

    新 region 发布

    亚太东南(柔佛)Region 发布,欢迎体验。

    华北、华东、华南、柔佛

    节点配置能力优化

    节点组支持垂直变配,支持升级节点配置规格。

    节点配置变更

    Iceberg connector 配置开箱即用

    Presto、Trino独立集群集成 Iceberg connector、Hudi connector。

    新增集群组件监控指标

    各组件节点的监控指标优化,包括 HDFS、Yarn、Zookeeper 服务监控指标能力提升。

    云盘调整

    Kafka、Pulsar、Clickhouse、Doris、StarRocks 独立集群下线PL0云盘,存量集群不受影响。

  • EMR 软件栈更新

    软件栈版本

    功能描述

    相关文档

    发布地域

    软件栈 EMR-V3.4.4 更新

    • 【组件】StarRocks 组件默认将 QueryProfile 功能关闭
    • 【组件】StarRocks 组件中添加元数据管理功能,适配火山云服务大数据研发治理套件

    华南、柔佛、华北、华东

    软件栈 EMR-V2.3.2 更新

    • 【组件】修复 Spark 运行日志存放路径
    • 【组件】Ranger 中为 Spark 用户赋予库表的操作权限,解决 Spark ThriftServer 告警问题

2023年7月

EMR 2023年7月11日上线,重点功能更新如下:

  • EMR 平台功能更新

    功能名称

    功能描述

    相关文档

    发布地域

    元数据连接

    • 元数据连接创建、编辑时,增加 RDS 账号密码校验功能
    • Ranger、Hive使用外置元数据链接使用限制优化
      • Ranger 绑定的元数据连接,只要集群绑定过,该元数据连接不允许再次被其他集群绑定
      • 集群 Hive 绑定的元数据连接,不允许其他版本的 Hive 绑定

    元数据连接

    华北、华东、华南、柔佛

    用户管理

    • 优化用户管理中明文密码展示情况;
    • 统一收敛拥有 ReadOnlyAccess 权限的子账号,通过访问链接+用户名密码方式登录 Web UI 界面的操作权限。
  • EMR 软件栈更新

    软件栈版本

    功能描述

    相关文档

    发布地域

    新增软件栈 EMR-V3.4.0

    • Iceberg 版本升级到1.2.0
    • Trino 版本升级到412
    • Presto 组件升级至0.280
    • Trino/Presto 中 keystore 文件生成机制以及策略优化
    • Hive 组件升级至3.1.3版本
    • StarRocks 升级至2.5.5
    • DolphinScheduler 组件升级至3.1.7
    • 新增 Kyuubi 组件,版本为1.7.1
    • OpenLDAP 版本升级,从2.4.58升级至2.5.13
    • Hadoop 集群类型新增以下机型:
      • ECS AMD 第二代 g2a 实例类型,北京、上海、广州区域上线;
      • ECS Intel 第三代 g3i 机型,目前仅在北京区域上线。

    华北、华东、华南、柔佛

    新增软件栈 EMR-V3.3.0

    • StarRocks 组件升级至2.5.5

    新增软件栈 EMR-V2.3.0

    • 新增 Phoenix 组件,版本为4.16.1
    • Flink 组件升级至1.16.1,增加对 HBase 、JDBC、Mysql CDC Connector 的支持
    • Hudi 组件升级至0.12.0
    • Trino 组件升级至412
    • Presto 组件升级至0.280
    • Iceberg 组件升级至1.2.0
    • DolphinScheduler 组件升级至3.1.7
    • OpenLDAP版本升级,从2.4.58升级至2.5.13
    • Hadoop 集群类型新增以下机型:
      • ECS AMD 第二代 g2a 实例类型,北京、上海、广州区域上线;
      • ECS Intel 第三代 g3i 机型,目前仅在北京区域上线。

2023年3月

EMR 2023年3月28日上线,重点功能更新如下:

  • EMR 平台功能更新

    功能名称

    功能描述

    相关文档

    发布地域

    告警中心

    新版本集群对接火山引擎云监控产品,集群对应的节点监控告警、服务告警均可在云监控配置告警规则,同时可展示在告警中心页面。

    华北、华东、华南、柔佛

    监控指标

    新增 Doris、StarRocks、Impala、Kudu、ClickHouse、Presto、Trino 组件监控指标。

  • EMR 软件栈更新

    软件栈版本

    功能描述

    相关文档

    发布地域

    新增软件栈 EMR-V3.2.1

    • Doris版本升级至1.2.1
    • Kafka升级至2.8.1
    • Hudi升级至0.12.2
    • Flink升级至1.16.0,引入StarRocks、Doris、HBase和ByteHouse Connector,支持MySQL Sink,优化多个配置,达到开箱即用;支持avro,csv,debezium-json和avro-confluent等格式;
    • Presto、Trino优化进入客户端方式。

    华北、华东、华南、柔佛

    新增软件栈 EMR-V2.2.0

    • HBase集群中集成Knox组件用于访问代理;并集成了YARN和MapReduce2;
    • Flink引擎支持avro,csv,debezium-json和avro-confluent等格式;

2023年2月

EMR 2023年2月21日上线,重点功能更新如下:

  • EMR 平台功能更新

    功能名称

    功能描述

    相关文档

    发布地域

    弹性伸缩

    弹性伸缩,支持根据需求,自动调整集群计算资源,新增动态伸缩模式、符合伸缩模式。

    华北、华东、华南、柔佛

    退订集群

    包年包月集群,支持退订操作。

    作业管理

    作业管理白名单发布,支持作业列表、作业详情、诊断报告和部分作业操作;

    Public History Server

    Presto、Trino History服务全量发布,使用History服务,可以在集群释放后仍能查看历史的作业信息。

    集群组件端口说明

    补充 HDFS、Yarn、Spark 等集群组件端口号。

  • EMR 软件栈更新

    软件栈版本

    功能描述

    相关文档

    发布地域

    新增软件栈 EMR-v3.1.1

    • 新增 DolphinScheduler 组件服务,目前白名单发布。
    • 新增Phoenix组件,版本为5.1.3,作为Hadoop集群的可选组件,HBase的必选组件。
    • Impala、Kudu、ClickHouse、Doris·StarRocks等服务的核心指标接入监控和告警管理;
    • HBase组件中的表支持Snappy压缩;
    • Ossa组件在Hadoop集群中变为必选组件,用于支持作业管理等功能;
    • Hive组件行为与开源保持一致,不再支持中文的表字段名;
    • Doris版本升级至1.1.5;
    • Hudi组件:修复潜在的数据丢失等问题;

    华北、华东、华南、柔佛

    新增软件栈 EMR-v2.1.1

    • 新增 DolphinScheduler 组件服务。
    • Impala、Kudu、ClickHouse、Doris等服务的核心组件接入告警管理;
    • 为Oozie系统用户赋予HDFS全路径、Hive库表、YARN 队列等资源的权限;
    • Ossa组件在Hadoop集群中变为必选组件,用于支持作业管理等功能;
    • 在Ranger中默认为系统用户配置HDFS等资源的权限。

2022年12月

EMR 2022年12月15日上线重点功能更新如下:

  • EMR 平台功能更新

    功能名称

    功能描述

    相关文档

    发布地域

    Public History Server

    Public History Server 作业执行历史集群外置,生产发布对 Presto、Trino 组件支持,白名单支持 Spark、MR,开启 Public History Server 功能后,用户可以查看历史集群的作业执行日志和记录。

    华北、华东、华南、柔佛

    集群名称修改

    集群列表和集群详情页面支持集群名称修改,便于用户调整管理集群。

    Python SDK

    新增 EMR Python SDK,支持 Python 版本 3.6.0。

  • EMR 软件栈更新

    软件栈版本

    功能描述

    相关文档

    发布地域

    新增软件栈 EMR-v3.1.0

    • 新增 StarRocks 2.4.1 独立集群(白名单),支持 MySQL 生态分析引擎搬站火山引擎。
    • 新增 DophinScheduler(白名单)、Oozie(白名单),用户使用开源作业调度器。
    • EMR Pulsar 组件新增 Pulsar Manager。
    • ClickHouse 独立集群生产发布。

    华北、华东、华南、柔佛

    新增软件栈 EMR-v2.1.0

    新增 Hadoop 2.10.0 全量生产发布,便于 Hadoop 2.x 用户平行迁移

    EMR-2.1.0版本说明

2022年10月

EMR 2022年10月11日上线重点功能更新如下:

  • EMR 平台功能更新

    功能名称

    功能描述

    相关文档

    发布地域

    弹性伸缩

    Hadoop 集群支持按时间弹性伸缩(生产可用)

    弹性伸缩

    华北、华东、华南、柔佛

    存算分离

    支持计算存储分离架构(生产可用)

    包年包月计费

    支持包年包月购买方式

    • 创建集群支持包年包月的售卖方式
    • 支持按量付费转包年包月

    集群克隆

    新增集群克隆,支持对通过克隆集群的软件和硬件配置,快速创建集群

    克隆集群

    集群缩容

    支持对按量付费节点组缩容

    缩容集群

    Tag、Project

    支持 Tag 和 Project 功能,可以对集群绑定 tag,设置集群所属 Project

    ECS 机型新增

    支持第2代 ECS intel 实例:g2i/c2i/r2i/d2s/i2

    支持ECS实例

  • EMR 软件栈更新

    软件栈版本

    功能描述

    相关文档

    发布地域

    新增软件栈 EMR-v3.0.1

    采用 Hadoop3.x 版本序列,主要组件包括:Hadoop 3.3.1、Spark 3.2.1、Hive3.1.3,相较于 EMR v1.3.0,组件更新升级如下

    • Flink 版本升级到 1.15.1
    • Iceberg 升级到 0.14
    • Hudi 版本升级到 0.11
    • Doris 版本升级到 1.1.1
    • 新增数据格式 Delta Lake 2.0

    EMR-3.0.1版本说明

    华北、华东、华南、柔佛

    新增软件栈 EMR-v2.0.1

    采用 Hadoop2.x 版本序列,降低使用 Hadoop 2.x 迁移到火山引擎的成本,主要组件包括:Hadoop 2.10.2、Hive 2.3.9、Spark 2.4.8

    EMR-2.0.1版本说明

2022年8月

EMR 2022年8月4日上线重点功能更新如下:

  • EMR 平台功能更新

    功能名称

    功能描述

    相关文档

    发布地域

    弹性伸缩

    弹性伸缩灰度发布,支持用户根据时间对节点组进行自动扩缩容

    弹性伸缩

    华北、华东、华南、柔佛

  • EMR 软件栈更新

    软件栈版本

    功能描述

    相关文档

    发布地域

    新增软件栈 EMR-v1.3.1

    • EMR flink 支持与 ByteHouse 云数仓版本对接
    • EMR Spark 3.x 版本升级到 3.2.1

    EMR 1.3.1版本说明

    华北、华东、华南、柔佛

2022年7月

EMR 2022年7月8日上线的重点功能更新如下:

  • EMR 平台功能更新

    功能名称

    功能描述

    相关文档

    发布地域

    新增 Region、新增可用区

    • 新增华南1 广州 region
    • 新增华北2 北京 region AZ2

    华北、华东、华南、柔佛

    概览

    新增产品概览页面,可以在概览页面快速了解集群信息

    存储分离架构

    计算引擎 Spark、Flink、Presto 等全面支持 CloudFS,支持计算存储分离架构(Preview 版本)

    存算分离最佳实践

  • EMR 软件栈更新

    软件栈版本

    功能描述

    相关文档

    发布地域

    新增软件栈 EMR-v1.3.0

    新增 Apache Pulsar 组件

    华北、华东、华南、柔佛

2022年4月

EMR 2022年4月15日上线的重点功能更新如下:

  • EMR 平台功能更新

    分类

    功能名称

    功能描述

    相关文档

    发布地域

    EMR 平台功能更新

    发布产品服务等级协议SLA

    E-MapReduce服务等级协议

    华北、华东、华南、柔佛

    新增集群类型

    新增 Presto、Trino、NoSQL 数据库 HBase、机器学习集群 TensorFlow、搜索服务 OpenSearch 独立的集群类型

    新增组件 Hudi、Iceberg

    Hadoop、Presto、Trino 集群中新增数据湖组件 Hudi、Iceberg

    新增 Open API

    新增 EMR 集群操作 OpenAPI,包括创建集群、集群扩容、获取集群详细信息、集群释放四种 OpenAPI

    交互和界面设计优化升级

    用户管理

    支持 LDAP 用户导入

    用户管理

    权限管理

    支持权限管理页面化配置,操作简化处理

    权限管理

    服务滚动重启

    新增滚动重启能力,保证服务的连续性

    添加/重启服务

    服务概览

    丰富开源组件服务概览,用户可以快速了解集群概要信息

    操作系统切换

    操作系统从 Debian 切换为 veLinux

    引导操作

    新增引导操作,用户可以创建集群时自定义集群运行环境,安装三方软件和自研软件

    引导操作

    集群脚本

    新增集群脚本,用户可以更简单的自定义集群环境

    集群脚本

    ECS 机型新增

    新增 ECS 最新实例类型支持,包括 g1ie、c1ie、r1ie 类型

    支持ECS实例

2022年2月

火山引擎 EMR v1.1.1在2022年2月17日公测(GA)上线,是EMR发布的第三个版本,也是1.1.x第二个版本,该版本上线后,进一步提升产品安全性和性能。发布重点产品功能如下:

  • EMR 平台功能更新

    功能名称

    功能描述

    相关文档

    发布地域

    Kerberos

    Hadoop 集群支持高安全模式,支持开启 Kerberos(仅对受邀用户开放,如有需求,可以通过联系产品团队开通)

    华北、华东、华南、柔佛

  • EMR 软件栈更新

    软件栈版本

    功能描述

    相关文档

    发布地域

    新增软件栈 EMR-v1.1.1

    新增 Apache Tez 0.10.1版本,并将 Tez 作为 Hive 默认执行引擎,提升 Hive 执行效率

    华北、华东、华南、柔佛

2022年1月

火山引擎 EMR v1.1.0在2022年1月份上线,新增产品功能如下:

  • EMR 平台功能更新

    分类

    功能名称

    功能描述

    相关文档

    发布地域

    EMR 平台功能更新

    服务监控

    新增集群服务监控功能,便于监控集群和开源组件服务的关键性能指标。

    华北、华东、华南、柔佛

    操作日志

    新增集群操作日志功能,便于您对集群操作和集群开源组件的操作进行审计。

    集群操作日志

    组件自定义参数

    新增组件自定义配置参数配置,大数据 OP 可以自助参考开源组件文档添加参数,更加灵活。

    管理服务配置参数

    ECS机型新增

    EMR 支持的 ECS 实例规格组更新,新增计算型 C 系列、内存型 R 系列、大数据型 D 系列实例规格组,丰富了集群节点的类型,大规模 HDFS 建议使用 D 系列降低成本。

    支持ECS实例

    新增集群类型

    新增 EMR Stream 集群类型,新增 Kafka、Flink 组件,大数据流式计算场景,可以使用独立的 Kafka、Flink 集群进行数据实时分析。

    Flink使用说明

  • EMR 软件栈更新

    软件栈版本

    功能描述

    相关文档

    发布地域

    新增软件 EMR-v1.1.0

    新增 EMR Stream 集群类型

    EMR 1.1.0版本说明

    华北、华东、华南、柔佛

2021年9月

火山引擎 EMR v1.0.0在2021年9月产品邀测发布,产品功能如下

  • EMR 平台功能发布

    功能名称

    功能描述

    相关文档

    发布地域

    服务管理

    支持集群服务管理,如添加服务,服务/组件启动和停止,服务常用参数配置

    服务管理

    华北、华东、华南、柔佛

    集群运维

    支持集群运维管理,如集群扩容、释放,机器组管理,告警管理,查看集群操作日志

    集群运维

    DataLeap 生态对接

    支持对接大数据研发治理套件 DataLeap

    大数据研发治理套件 DataLeap

    IAM 用户管理

    支持 IAM 用户管理,可导入 IAM 用户,重置密码

    用户管理

  • EMR 软件栈更新

    软件栈版本

    功能描述

    相关文档

    发布地域

    软件栈 EMR-v1.0.0 发布

    支持 Hadoop 类型(HDFS、Spark、Hive&MR)集群创建

    EMR 1.0.0版本说明

    华北、华东、华南、柔佛

最近更新时间:2026.02.10 14:40:07
这个页面对您有帮助吗?
有用
有用
无用
无用