本文介绍火山引擎 E-MapReduce(EMR)各版本功能发布和文档动态,新特性将在各个地域陆续发布,欢迎体验。
EMR 2025年11月20日上线,重点功能更新如下:
功能名称 | 功能描述 | 发布地域 |
|---|---|---|
【运维优化】上线本地盘故障一键修复功能 | 用户无需自行操作本地盘实例故障修复流程,EMR 提供一键式修复功能,用户仅需在运维中心>实例运维,选择本地盘故障的节点,选择需要的修复操作即可一键完成本地盘故障修复 | 华南、柔佛、华北、华东、中国香港 |
【运维优化】上线授权运维能力 | 当集群出现问题时,用户可以直接向 EMR 技术支持人员授予集群权限,允许其直接运维对应集群。当前提供普通授权和高级授权两种选择 | |
【监控增强】ossa 日志新增 application 信息 |
| |
【监控增强】Celeborn 服务监控新增磁盘观测指标 | Celeborn 服务监控指标新增:Celeborn 磁盘总容量、Celeborn 磁盘可用总容量。用户可以在集群监控中选择 Celeborn 服务查看监控信息 | |
【监控增强】开启 Kerberos 后,EMR 支持 Tez History UI 访问 | 开启 Kerberos 后,用户选择对应集群,在访问链接中通过 TEZ UI 的访问链接访问 Tez History UI | |
【监控增强】集群监控支持节点组全选 | 集群监控支持一键勾选节点组内所有节点 | |
【生态兼容】Jupyter/DolphinScheduler开箱即用 EMR |
| |
【生态兼容】新增 ECS 实例规格 | core/task 节点组支持 ECS 本地盘机型 i4ag,适用于部署 Spark、Celeborn、Proton 等对 IO 吞吐要求较高的服务 | |
VePFS 产品化 | 挂载 VePFS 的节点组支持弹性伸缩能力 |
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
软件栈 EMR-V3.19.0 | 更改、增强和解决的问题引擎能力优化
| 华南、柔佛、华北、华东、中国香港 |
EMR 2025年9月27日上线,重点功能更新如下:
功能名称 | 功能描述 | 发布地域 |
|---|---|---|
节点配置支持4代实例 | 创建集群/节点组时支持 c4i/c4ie/r4i/r4ie 接入 EMR 实例 | 华南、柔佛、华北、华东、中国香港 |
Core 节点组支持部署集(白名单) | 创建集群/节点组时支持加入部署集,建议数据存储在 HDFS 上且使用本地盘实例规格的集群开启,提升数据安全和降低单机故障影响面 | |
控制台支持 Presto 以 File Based 方式控制权限 | 在支持使用 Ranger 控制 Presto 权限外,控制台新增以 File Based 方式控制权限。详情参考官方文档 | |
支持 Kerberos 认证过期告警 | 当开启 Kerberos 时,如果认证过期,会通知用户,避免影响使用 | |
支持节点变配 | 支持从 EMR 控制台的节点管理模块对 Master、Core、Task 节点部分实例规格做变配,支持变配的实例规格参考支持变更的实例规格 | |
HDFS 联邦模式 | 新增支持 HDFS 联邦模式,详情参考 HDFS联邦 | |
创建集群时 Hive 元数据支持 LAS Catalog | 创建集群时 Hive 元数据支持三种方式:EMR 集群内置 MySQL、外置 RDS 和 LAS Catalog。 说明 生产环境建议使用外置 RDS 和 LAS Catalog, 如果您有多个引擎产品需要访问同一份数据,建议您使用 LAS Catalog, 例如 EMR Serverless Spark 和 EMR on ECS 数据湖集群同时访问一个 Hive 表。 | |
EMR 控制台支持可视化 YARN Node Label 管理 | EMR 控制台支持您对 YARN 集群队列的 Node Label(即资源池)进行可视化管理,并且支持可以把 Node Label 的资源分配到不同的队列上,包括 Node Label 资源设置、队列容量设置等。详情参考YARN 资源池管理 | |
弹性伸缩支持 Spot 实例 | 配置弹性伸缩时,支持选择 Spot 实例 |
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
软件栈 EMR-V3.18.0 | 更改、增强和解决的问题服务版本升级
引擎能力优化
| 华南、柔佛、华北、华东、中国香港 |
EMR 2025年8月10日上线,重点功能更新如下:
功能名称 | 功能描述 | 发布地域 |
|---|---|---|
新增开服 Region | EMR on ECS 将在香港 Region 提供服务 | 华南、柔佛、华北、华东、中国香港 |
节点配置支持4代实例 | 创建集群/节点组是支持 g4al/c4al/r3aldse 接入 EMR 实例 | |
Core 节点支持优雅下线 | Hadoop 自定义集群节点缩容时支持 Core 节点优雅下线 | |
集群脚本优化 | 集群脚本执行时间在组件安装前和组件启动后,新增组件安装后启动前 | |
Yarn 队列管理优化 | 支持界面化配置 Fair-Scheduler 以及 CDH 的队列组定时调度 | |
可观测性增强 |
| |
OpenAPI/SDK 能力增强 | EMR OpenAPI/SDK 支持创建弹性预约实例 |
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
软件栈 EMR-V3.17.0 | 更改、增强和解决的问题服务版本升级
引擎能力优化
| 华南、柔佛、华北、华东、中国香港 |
EMR 2025年6月10日上线,重点功能更新如下:
功能名称 | 功能描述 | 发布地域 |
|---|---|---|
服务状态监控增强 | 新增支持在云监控配置策略下列服务状态,会以发生次数为指标,以30秒的延迟上报云监控:
| 华南、柔佛、华北、华东 |
服务巡检增强 | 在运维中心,增加了服务实时状态看版,以快速查看服务状态以及定位不可用服务。 | |
自定义部署增强 | KyubbiServer 可以在 Master 节点组中自定义部署。 | |
DolphinScheduler 增强 | EMR 的 DolphinScheduler 组件支持语音告警功能。 | |
访问链接优化 |
|
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
软件栈 EMR-V3.16.0 | 更改、增强和解决的问题服务版本升级
引擎能力优化
Trino
Spark
| 华南、柔佛、华北、华东 |
EMR 2025年4月17日上线,重点功能更新如下:
功能名称 | 功能描述 | 发布地域 |
|---|---|---|
控制台报错信息增强 | 控制台的报错信息(如操作权限不足),支持一键使用火山引擎AI智能助手进行故障诊断。 | 华南、柔佛、华北、华东 |
YARN资源池优化 | 支持配置多级队列使用资源池管理的能力。 | |
日志中心增强 | 新增了可查看日志的文件:hive.log。 | |
首次登陆EMR优化 | 优化了子账号首次登陆EMR时的权限设置流程。 | |
运维中心优化 | 对部分异常节点,支持强制重新的操作选项以跳过在原机器对故障的处理流程。 | |
EMR GPU集群优化 | 支持了CPU集群添加GPU节点组,以及GPU集群添加CPU节点组的EMR架构。 |
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
软件栈 EMR-V3.15.0 | 新增功能
更改、增强和解决的问题服务版本升级
引擎能力优化
Paimon
Spark
Ranger
| 华南、柔佛、华北、华东 |
EMR 2025年3月6日上线,重点功能更新如下:
功能名称 | 功能描述 | 发布地域 |
|---|---|---|
预约弹性实例(时段型)上线 | 华北3、华北4区域上线了预约弹性实例(时段型)。以较优惠的价格预约该实例,并在固定的时间段使用(当前每天2 ~ 18点),适合大数据潮汐计算峰值在固定时间段内的场景,以达到降本的目的。 说明 如需操作本功能请通过 提工单的方式,联系火山引擎技术支持人员。 | 华南、柔佛、华北、华东 |
Docker on YARN 上线 | 在 Hadoop 集群中,可以选择部署 Docker on YARN。 | |
YARN 队列管理增强 |
| |
访问链接优化 |
| |
操作日志优化 |
| |
集群缩容增强 | Hadoop 集群在进行缩容操作时,支持指定节点。 | |
监控指标支持导出 | Flink、StarRocks、Spark 组件的指标支持从云监控平台中导出到本地如 Prometheus 等系统中。 | |
服务参数增强 | 在集群创建完成后,可以将已有的服务参数导入,并刷新集群中现有参数。 | |
服务管理优化 |
|
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
软件栈 EMR-V3.14.0 | 新增功能
更改、增强和解决的问题服务版本升级
引擎能力优化
Kyuubi
| 华南、柔佛、华北、华东 |
EMR 2025年1月2日上线,重点功能更新如下:
功能名称 | 功能描述 | 发布地域 |
|---|---|---|
项目级授权 | EMR 权限管理支持在原有的添加策略授权的基础上,额外选择项目范围,从而将权限限定在指定的项目中,实现子账号仅拥有某个项目下 EMR 资源的权限。 | 华南、柔佛、华北、华东 |
系统盘扩容 | 当系统盘的可使用空间不足时,可扩容系统盘大小。 | |
SDK | 新增 TOSFS Python SDK,支持以标准的的 fsspec 文件语义读写 TOS,且支持 TOS 分层桶。 | |
服务可用性巡检 | 增加服务可用性巡检,覆盖范围为 HDFS、Yarn、Hive、StarRocks、Dohphin Schedule、Kyuubi、Presto。 | |
创建集群引导优化 | 创建集群时增加配置引导的提示。 | |
配额不足跳转优化 | 优化产品配额跳转流程,创建集群时如 ECS、EBS 等达到配额上限,可以根据提示跳转到配额中心申请配额提升。 | |
服务参数优化 | 服务参数生效范围为节点时,展示具体生效的节点。 | |
集群监控优化 | 优化节点上磁盘监控,将数据盘、系统盘的监控指标区分展示。 | |
弹性伸缩通知优化 | 优化弹性伸缩成功/失败后的通知文案,增加本次弹性扩缩容操作的节点数量变化。 |
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
软件栈 EMR-V3.13.0 | 新增功能
更改、增强和解决的问题服务版本升级
引擎能力优化
| 华南、柔佛、华北、华东 |
EMR 2024年11月7日上线,重点功能更新如下:
功能名称 | 功能描述 | 发布地域 |
|---|---|---|
集群缩容 | 支持 Core 节点组缩容功能,当 EMR 集群资源过剩时,可以对 Core 节点组进行缩容,降低使用成本(该功能白名单发布)。 | 华南、柔佛、华北、华东 |
节点组删除逻辑优化 | 删除 Task 节点组,组内节点全部释放,实现批量释放资源。 | |
大数据专家服务 | 上线大数据专家服务,为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,详情参考大数据专家服务计费说明。 | |
Las元数据管理 | E-MapReduce支持Las ,提供了统一的元数据构建及企业级的数据权限控制能力,支持无缝接入包括 Hive、Spark 在内的多种计算引擎(该功能白名单发布)。 | |
集群监控 | 增加Flink 、Spark服务监控。 | |
价格展示优化 | 增加配置变更/资源扩缩容带来的补款/退款价格详情展示,并优化价格展示文案。 | |
服务日志优化 | 仅展示已集成的服务的日志查看。 | |
集群操作日志优化 | 展示丰富的日志信息。 |
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
软件栈EMR-V3.12.0 | 新增功能
更改、增强和解决的问题服务版本升级
引擎能力优化
| 华南、柔佛、华北、华东 |
EMR 2024年7月31日上线,重点功能更新如下:
功能名称 | 功能概述 | 发布地域 |
|---|---|---|
实例规格支持g3al和g3il |
| 华南、柔佛、华北、华东 |
弹性伸缩支持 v2.5.0 软件栈 |
|
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
软件栈EMR-V2.5.0 | 新增功能
更改、增强和解决的问题
遗留问题
| 华南、柔佛、华北、华东 |
EMR 2024年7月2日上线,重点功能更新如下:
功能名称 | 功能概述 | 发布地域 |
|---|---|---|
SparkSQL与StarRocks湖仓一体化 |
| 华南、柔佛、华北、华东 |
弹性伸缩形态拓展 |
| |
集群扩容支持尽力交付 | 集群的节点组扩容时,可以选择按本次扩容能交付的数量而非要求的数量进行交付。最大程度上提高资源的获得性。 |
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
软件栈EMR-V3.11.0 | 新增功能
更改、增强和解决的问题
遗留问题仅在最新 EMR-1.14支持交互式分析查询 Starrocks、Doris 组件,已经创建的集群扩容不受影响。 | 华南、柔佛、华北、华东 |
EMR 2024年5月7日上线,重点功能更新如下:
功能名称 | 功能概述 | 发布地域 |
|---|---|---|
节点组扩容优化 |
| 华南、柔佛、华北、华东 |
OLAP优化 |
| |
DophinScheduler自定义拓扑 | DophinScheduler Worker支持自定义部署到任意的Core或者Task节点组,实现计算节点和调度节点混合部署。 |
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
软件栈EMR-V3.10.0 | 新增功能
更改、增强和解决的问题
遗留问题
| 华南、柔佛、华北、华东 |
EMR 2024年3月14日上线,重点功能更新如下:
功能名称 | 功能概述 | 相关文档 | 发布地域 |
|---|---|---|---|
支持创建Kerberos安全类型集群 | Kerberos安全类型集群支持使用外部创建的KDC进行统一的身份管理和认证正式发布。 | 华南、柔佛、华北、华东 | |
自定义标签分账 | 用户在创建集群/后续修改编辑的标签 同步到集群下所有的资源实例,用户可以根据标签进行分账 和 下载查询。 | ||
子账号开通EMR产品 | 主账号/拥有EMRFullAccess/AdministratorAccess权限的子账号可以登陆EMR控制台进行云资源访问授权 | ||
自定义部署拓扑支持Celeborn组件 | Celeborn Worker 允许部署在独立Core和Task节点。 | ||
支持EMR及其底层资源在项目间的移动 |
| ||
集群创建和扩容效率提升 | 集群5分钟完成交付,允许库存不足时部分节点优先交付。 | ||
集群监控指标丰富 | 包括Kyuubi、Presto、Trino 服务监控指标丰富。 |
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
软件栈EMR-V3.9.0 | 新增功能
更改、增强和解决的问题
| 华南、柔佛、华北、华东 |
EMR 2024年1月25日上线,重点功能更新如下:
功能名称 | 功能概述 | 相关文档 | 发布地域 |
|---|---|---|---|
预置告警模板 | 云监控上线EMR预置告警模板,可以一键应用,简化告警配置的操作流程 | 华南、柔佛、华北、华东 | |
StarRocks 弹性伸缩 | StarRocks独立集群支持自定义时间扩容和缩容,调整集群资源 | 华南、柔佛、华北、华东 | |
集群监控指标丰富 | 包括Yarn、Hive、Celeborn 服务监控指标丰富 | 华南、柔佛、华北、华东 | |
脚本功能优化 | 支持设置脚本的执行超时时间;如果该脚本执行失败,支持继续执行下一个脚本 | 华南、柔佛、华北、华东 |
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
软件栈EMR-V3.8.0 |
| 华南、柔佛、华北、华东 |
EMR 2023年12月07日上线,重点功能更新如下:
EMR平台功能更新
功能名称 | 功能概述 | 相关文档 | 发布地域 |
|---|---|---|---|
StarRocks 存算分离集群 | StarRocks V3.1.4 版本,支持创建存算分离集群,提升集群灵活性、处理性能以及更好的成本效益。 | 创建 StarRocks 存算分离集群 | 华南、柔佛、华北、华东 |
StarRocks 服务监控指标 | 更新 StarRocks 服务监控指标:新增 StreamLoad 导入字节数、导入行数监控;新增 FE 组件失败、超时、成功的 Query 数监控 | ||
GPU 计算机型 | EMR 提供 GPU 计算机型,同时支持 Spark Rapids,为 Spark 做算子加速,提升计算性能,并降低使用成本。 |
EMR软件栈更新
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
软件栈EMR-V3.7.0 | 新增功能
更改、增强和解决的问题
| 华南、柔佛、华北、华东 |
EMR 2023年10月26日上线,重点功能更新如下:
EMR平台功能更新
功能名称 | 功能概述 | 发布地域 |
|---|---|---|
Kerberos 集群能力 |
该功能白名单发布 | 华南、柔佛、华北、华东 |
EMR 新增适配 GPU 机型 |
| |
支持 Tez UI |
|
EMR软件栈更新
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
软件栈EMR-V3.6.0 |
| 华南、柔佛、华北、华东 |
EMR 2023年10月10日上线,重点功能更新如下:
EMR 平台功能更新
功能名称 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
StarRocks 集群支持 Task 节点 | StarRocks 集群支持部署专用于计算的 CN 节点在 Task 节点组上,实现对计算资源的弹性控制。 | 华东、华北、华南、柔佛 | |
集群状态优化 | 创建集群后的不同集群状态优化,新增待支付状态,剔除异常集群状态。 | ||
用户管理优化 |
| ||
新增多个 Core 节点组 | Hadoop 集群新增支持创建或扩容1个以上 Core 节点组,可通过该能力对存算一体架构下的 DataNode 进行滚动替换。 | ||
新增 ECS 实例 | 新增 ECS 第三代 AMD 芯片实例 g3a、c3a、r3a。 |
EMR 软件栈更新
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
软件栈 EMR-V3.5.0 | 新增软件栈EMR 3.5.0
| 华南、柔佛、华北、华东 | |
软件栈 EMR-V2.4.0 | 新增软件栈EMR 2.4.0
|
EMR 2023年8月22日更新上线,重点功能更新如下:
EMR 平台功能更新
功能名称 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
新 region 发布 | 亚太东南(柔佛)Region 发布,欢迎体验。 | 华北、华东、华南、柔佛 | |
节点配置能力优化 | 节点组支持垂直变配,支持升级节点配置规格。 | ||
Iceberg connector 配置开箱即用 | Presto、Trino独立集群集成 Iceberg connector、Hudi connector。 | ||
新增集群组件监控指标 | 各组件节点的监控指标优化,包括 HDFS、Yarn、Zookeeper 服务监控指标能力提升。 | ||
云盘调整 | Kafka、Pulsar、Clickhouse、Doris、StarRocks 独立集群下线PL0云盘,存量集群不受影响。 |
EMR 软件栈更新
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
软件栈 EMR-V3.4.4 更新 |
| 华南、柔佛、华北、华东 | |
软件栈 EMR-V2.3.2 更新 |
|
EMR 2023年7月11日上线,重点功能更新如下:
EMR 平台功能更新
功能名称 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
元数据连接 |
| 华北、华东、华南、柔佛 | |
用户管理 |
|
EMR 软件栈更新
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
新增软件栈 EMR-V3.4.0 |
| 华北、华东、华南、柔佛 | |
新增软件栈 EMR-V3.3.0 |
| ||
新增软件栈 EMR-V2.3.0 |
|
EMR 2023年3月28日上线,重点功能更新如下:
EMR 平台功能更新
功能名称 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
告警中心 | 新版本集群对接火山引擎云监控产品,集群对应的节点监控告警、服务告警均可在云监控配置告警规则,同时可展示在告警中心页面。 | 华北、华东、华南、柔佛 | |
监控指标 | 新增 Doris、StarRocks、Impala、Kudu、ClickHouse、Presto、Trino 组件监控指标。 |
EMR 软件栈更新
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
新增软件栈 EMR-V3.2.1 | 华北、华东、华南、柔佛 | ||
新增软件栈 EMR-V2.2.0 |
|
EMR 2023年2月21日上线,重点功能更新如下:
EMR 平台功能更新
功能名称 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
弹性伸缩 | 弹性伸缩,支持根据需求,自动调整集群计算资源,新增动态伸缩模式、符合伸缩模式。 | 华北、华东、华南、柔佛 | |
退订集群 | 包年包月集群,支持退订操作。 | ||
作业管理 | 作业管理白名单发布,支持作业列表、作业详情、诊断报告和部分作业操作; | ||
Public History Server | Presto、Trino History服务全量发布,使用History服务,可以在集群释放后仍能查看历史的作业信息。 | ||
集群组件端口说明 | 补充 HDFS、Yarn、Spark 等集群组件端口号。 |
EMR 软件栈更新
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
新增软件栈 EMR-v3.1.1 |
| 华北、华东、华南、柔佛 | |
新增软件栈 EMR-v2.1.1 |
|
EMR 2022年12月15日上线重点功能更新如下:
EMR 平台功能更新
功能名称 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
Public History Server | Public History Server 作业执行历史集群外置,生产发布对 Presto、Trino 组件支持,白名单支持 Spark、MR,开启 Public History Server 功能后,用户可以查看历史集群的作业执行日志和记录。 | 华北、华东、华南、柔佛 | |
集群名称修改 | 集群列表和集群详情页面支持集群名称修改,便于用户调整管理集群。 | ||
Python SDK | 新增 EMR Python SDK,支持 Python 版本 3.6.0。 |
EMR 软件栈更新
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
新增软件栈 EMR-v3.1.0 |
| 华北、华东、华南、柔佛 | |
新增软件栈 EMR-v2.1.0 | 新增 Hadoop 2.10.0 全量生产发布,便于 Hadoop 2.x 用户平行迁移 |
EMR 2022年10月11日上线重点功能更新如下:
EMR 平台功能更新
功能名称 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
弹性伸缩 | Hadoop 集群支持按时间弹性伸缩(生产可用) | 华北、华东、华南、柔佛 | |
存算分离 | 支持计算存储分离架构(生产可用) | ||
包年包月计费 | 支持包年包月购买方式
| ||
集群克隆 | 新增集群克隆,支持对通过克隆集群的软件和硬件配置,快速创建集群 | ||
集群缩容 | 支持对按量付费节点组缩容 | ||
Tag、Project | 支持 Tag 和 Project 功能,可以对集群绑定 tag,设置集群所属 Project | ||
ECS 机型新增 | 支持第2代 ECS intel 实例:g2i/c2i/r2i/d2s/i2 |
EMR 软件栈更新
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
新增软件栈 EMR-v3.0.1 | 采用 Hadoop3.x 版本序列,主要组件包括:Hadoop 3.3.1、Spark 3.2.1、Hive3.1.3,相较于 EMR v1.3.0,组件更新升级如下
| 华北、华东、华南、柔佛 | |
新增软件栈 EMR-v2.0.1 | 采用 Hadoop2.x 版本序列,降低使用 Hadoop 2.x 迁移到火山引擎的成本,主要组件包括:Hadoop 2.10.2、Hive 2.3.9、Spark 2.4.8 |
EMR 2022年8月4日上线重点功能更新如下:
EMR 平台功能更新
功能名称 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
弹性伸缩 | 弹性伸缩灰度发布,支持用户根据时间对节点组进行自动扩缩容 | 华北、华东、华南、柔佛 |
EMR 软件栈更新
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
新增软件栈 EMR-v1.3.1 |
| 华北、华东、华南、柔佛 |
EMR 2022年7月8日上线的重点功能更新如下:
EMR 平台功能更新
功能名称 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
新增 Region、新增可用区 |
| 华北、华东、华南、柔佛 | |
概览 | 新增产品概览页面,可以在概览页面快速了解集群信息 | ||
存储分离架构 | 计算引擎 Spark、Flink、Presto 等全面支持 CloudFS,支持计算存储分离架构(Preview 版本) |
EMR 软件栈更新
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
新增软件栈 EMR-v1.3.0 | 新增 Apache Pulsar 组件 | 华北、华东、华南、柔佛 |
EMR 2022年4月15日上线的重点功能更新如下:
EMR 平台功能更新
分类 | 功能名称 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|---|
EMR 平台功能更新 | 发布产品服务等级协议SLA | 华北、华东、华南、柔佛 | ||
新增集群类型 | 新增 Presto、Trino、NoSQL 数据库 HBase、机器学习集群 TensorFlow、搜索服务 OpenSearch 独立的集群类型 | |||
新增组件 Hudi、Iceberg | Hadoop、Presto、Trino 集群中新增数据湖组件 Hudi、Iceberg | |||
新增 Open API | 新增 EMR 集群操作 OpenAPI,包括创建集群、集群扩容、获取集群详细信息、集群释放四种 OpenAPI | |||
交互和界面设计优化升级 | ||||
用户管理 | 支持 LDAP 用户导入 | |||
权限管理 | 支持权限管理页面化配置,操作简化处理 | |||
服务滚动重启 | 新增滚动重启能力,保证服务的连续性 | |||
服务概览 | 丰富开源组件服务概览,用户可以快速了解集群概要信息 | |||
操作系统切换 | 操作系统从 Debian 切换为 veLinux | |||
引导操作 | 新增引导操作,用户可以创建集群时自定义集群运行环境,安装三方软件和自研软件 | |||
集群脚本 | 新增集群脚本,用户可以更简单的自定义集群环境 | |||
ECS 机型新增 | 新增 ECS 最新实例类型支持,包括 g1ie、c1ie、r1ie 类型 |
火山引擎 EMR v1.1.1在2022年2月17日公测(GA)上线,是EMR发布的第三个版本,也是1.1.x第二个版本,该版本上线后,进一步提升产品安全性和性能。发布重点产品功能如下:
EMR 平台功能更新
功能名称 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
Kerberos | Hadoop 集群支持高安全模式,支持开启 Kerberos(仅对受邀用户开放,如有需求,可以通过联系产品团队开通) | 华北、华东、华南、柔佛 |
EMR 软件栈更新
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
新增软件栈 EMR-v1.1.1 | 新增 Apache Tez 0.10.1版本,并将 Tez 作为 Hive 默认执行引擎,提升 Hive 执行效率 | 华北、华东、华南、柔佛 |
火山引擎 EMR v1.1.0在2022年1月份上线,新增产品功能如下:
EMR 平台功能更新
分类 | 功能名称 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|---|
EMR 平台功能更新 | 服务监控 | 新增集群服务监控功能,便于监控集群和开源组件服务的关键性能指标。 | 华北、华东、华南、柔佛 | |
操作日志 | 新增集群操作日志功能,便于您对集群操作和集群开源组件的操作进行审计。 | 集群操作日志 | ||
组件自定义参数 | 新增组件自定义配置参数配置,大数据 OP 可以自助参考开源组件文档添加参数,更加灵活。 | |||
ECS机型新增 | EMR 支持的 ECS 实例规格组更新,新增计算型 C 系列、内存型 R 系列、大数据型 D 系列实例规格组,丰富了集群节点的类型,大规模 HDFS 建议使用 D 系列降低成本。 | |||
新增集群类型 | 新增 EMR Stream 集群类型,新增 Kafka、Flink 组件,大数据流式计算场景,可以使用独立的 Kafka、Flink 集群进行数据实时分析。 |
EMR 软件栈更新
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
新增软件 EMR-v1.1.0 | 新增 EMR Stream 集群类型 | 华北、华东、华南、柔佛 |
火山引擎 EMR v1.0.0在2021年9月产品邀测发布,产品功能如下
EMR 平台功能发布
功能名称 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
服务管理 | 支持集群服务管理,如添加服务,服务/组件启动和停止,服务常用参数配置 | 华北、华东、华南、柔佛 | |
集群运维 | 支持集群运维管理,如集群扩容、释放,机器组管理,告警管理,查看集群操作日志 | ||
DataLeap 生态对接 | 支持对接大数据研发治理套件 DataLeap | ||
IAM 用户管理 | 支持 IAM 用户管理,可导入 IAM 用户,重置密码 |
EMR 软件栈更新
软件栈版本 | 功能描述 | 相关文档 | 发布地域 |
|---|---|---|---|
软件栈 EMR-v1.0.0 发布 | 支持 Hadoop 类型(HDFS、Spark、Hive&MR)集群创建 | 华北、华东、华南、柔佛 |