E-MapReduce
E-MapReduce
- 文档首页
E-MapReduce产品动态与公告产品动态EMR on ECS 动态（2026年）
复制全文
下载 pdf
文档反馈
问问助手本文介绍火山引擎 E-MapReduce（EMR）各版本功能发布和文档动态，新特性将在各个地域陆续发布，欢迎体验。
EMR 2026 年 11 月 3 日 EMR on ECS 管控平台在各个地域陆续发布 1.29.0 版本，重点功能更新如下。
- EMR 平台功能更新
功能名称 功能描述 服务管理
YARN 服务组件整体优化升级了队列资源潮汐调度能力与体验。
- 新增支持 Capacity Scheduler 调度器的队列资源潮汐调度能力。
- 提升操作体验，当前已支持通过控制台界面化配置 Capacity Scheduler、Fair Scheduler 调度器的队列资源潮汐调度配置逻辑。
Hive 服务组件的高可用集群自定义部署能力升级，Hive Metastore 实例新增支持扩容和缩容，本版本后，您可以在控制台按需调整 HiveServer2、Hive Metastore 服务高可用实例的部署规模。详细信息请参见Hive 高可用。 集群管理
集群的“引导操作”功能新增支持服务组件级别的执行范围，即，您可在集群中添加服务组件级别的执行脚本，并设置执行的服务组件范围和脚本执行策略，添加完成后，后续对应服务组件即会基于配置的“引导操作”执行逻辑，在组件安装前或启动后，触发引导脚本执行。
更多详细信息请参见引导操作。
EMR 2026 年 08 月 21 日 EMR on ECS 管控平台在各个地域陆续发布 1.28.0 版本，重点功能更新如下。
- EMR 平台功能更新
功能名称 功能描述 集群管理
存算分离类集群功能升级，您可以灵活选择是否要部署 HDFS 服务。
- 不部署 HDFS 服务，后续可设置 TOS 路径作为 Hive 根路径、集群存储根路径，实现集群存算分离。
- 也支持部署 HDFS 服务后，选择集群内置 HDFS 目录或 TOS 作为 Hive 根路径、集群存储根路径。
- 选择 HDFS：存算一体。
- 选择 TOS：存算分离。同时保留 HDFS 服务，适合存在历史数据迁移或部分组件依赖 HDFS 的过渡场景。
更多关于存算分离集群的介绍与操作详情请参见：创建存算分离集群。
集群内置 Proton 服务升级，创建集群时可直接指定 TOS 路径作为 DolphinScheduler 资源路径，无需手动配置 Proton 依赖。详情请参见 DolphinScheduler 资源路径设置最佳实践。
新增支持集群的释放保护功能，开启后可避免 EMR 集群被意外释放。
- 您可以在新建集群时，在软件设置>高级设置中配置功能开关，默认为关闭状态，详情请参见创建集群。
- 已创建的集群也支持在集群概述的详情页面修改开关状态。
警告
- 当前仅 Hadoop 集群、Custom 集群支持开启释放保护功能开关。
- 集群开启释放保护开关后，集群即无法被释放。如果需要释放集群，您需要先关闭释放保护开关。
集群节点磁盘扩容能力与操作体验提升，支持为集群的节点组数据盘灵活分配数据盘容量、数量，设置后，
数据盘总容量 = 数据盘数量 * 数据盘单盘容量。
- 当前仅 Core、Task 节点组支持设置数据盘数量，且每个节点组最多支持设置 8 块数据盘。
- 设置磁盘数量后，需要对节点组所在的服务组件进行重启，设置才能生效。
详细信息请参见节点组管理。
服务管理
新增支持为 EMR on ECS 集群集成同一地域的 EMR Serverless RSS 服务，适合 Shuffle 量大、稳定性要求高且希望减少自运维的场景，并在集群创建或运行状态下提供选择、切换 Shuffle 服务的功能。
- 使用限制：仅支持 EMR-4.0.0 及以上版本的 Hadoop 集群、Custom 集群，且要求开启 Spark 3.x、关闭 kerberos 认证。
- 新增支持在以下场景中配置 EMR Serverless RSS 服务：
- 创建集群时，控制台新增 Spark Shuffle 服务选项，支持用户在 Spark External Shuffle、Celeborn 服务、 EMR Serverless RSS 中选择。
- 集群运行时，在 服务列表> Spark 页面，新增 Shuffle Service 配置页面，支持用户在 Spark External Shuffle、Celeborn 服务、 EMR Serverless RSS 中切换 Shuffle 服务，服务切换时，系统将提示用户会重启 Spark 服务。
- 创建集群时，控制台新增 Spark Shuffle 服务选项，支持用户在 Spark External Shuffle、Celeborn 服务、 EMR Serverless RSS 中选择。
- 集群运行时，支持用户解绑 EMR Serverless RSS 服务，解绑时，支持客户选择解绑后使用的 Shuffle 类型。
详细信息请参见创建集群。
EMR-4.0.0 及以上版本，部分服务新增支持自定义部署服务能力，打开自定义部署开关后，您可以自行设置服务部署节点拓扑方案。创建集群时，支持自定义部署服务组件的管控角色在 Master 节点上可以看到并设置自定义部署开关。已创建集群也可在添加服务时对支持自定义部署的服务组件进行设置。
仅开启了服务高可用的集群支持自定义部署，且不同组件会受到最少节点组数、可调整数量范围限制，更多详细信息请参见添加/重启服务、创建自定义拓扑集群。
新增支持服务扩容和服务缩容的能力。在集群运行过程中，若发现服务部署不合理，如负载资源争抢、部署时漏设置拓扑等情况，可灵活为服务组件进行扩缩容，按负载和资源争抢情况动态调整服务部署位置，不用重建整套服务。
- 当前支持扩缩容的服务为：Presto、Trino 。
- 支持服务扩缩容的节点组：Core 节点组、Task 节点组。
- 当 Presto 或 Trino 当前部署覆盖的 core 节点组数量与 task 节点组数量之和小于 2 时，服务缩容不可用。
详细信息请参见服务扩缩容。
新增支持服务卸载功能，对于后续不再需要的服务，您可以按需直接卸载，减少不必要的资源占用，便于资源回收、集群瘦身。
- 仅 EMR-4.0.0 及以后的版本支持服务卸载功能，支持服务卸载的集群服务为：
- Hadoop 集群：除 Spark 以外的所有可选服务支持卸载。
- Custom 集群：所有服务支持卸载。
- 支持服务单个卸载、批量卸载。若选中待卸载的服务被其他服务依赖，则禁止卸载。
- 待卸载服务依赖的元数据不会自动删除，例如卸载 Ranger 服务，其依赖的元数据不会自动清除，需要卸载后手动处理。
详细信息请参见 服务启停/卸载。
作业管理
控制台新增支持 EMR on ECS 集群作业创建与提交能力和 EMR on ECS 集群作业管理能力，支持用户从控制台创建并执行作业，并对作业进行编辑、删除与运行状态跟踪。
- 使用限制
- 适用集群类型：Hadoop 集群、配置了 Yarn+Spark+Kyuubi 的 Custom 集群
- 支持的作业类型： SparkSQL、PySpark、SparkJar。其中 SparkSQL 作业仅支持 UI 模式创建。
- 提交作业时，若未指定执行作业的队列，则默认提交到 root.default 队列。
- 作业执行后支持查看在作业实例页面查看作业实例详情（包含作业ID/名称、状态、类型、日志等信息），并可联动跳转到对应作业详情页面完成排障与追溯。
详细信息请参见创建并提交作业。
- EMR 软件栈更新
软件栈版本 功能描述 软件栈 EMR-V4.0.0
组件版本升级与能力升级：
- Proton：升级至 2.3.19 版本，详情请参见Proton 发行版本。
- Ray：升级至 2.56 版本。
- Spark：
- 组件升级至 4.x 版本。 4.1 版本的主要增强功能包括：
- 引入 VARIANT ，半结构化数据处理增强。
- SQL 能力增强，支持 SQL UDF 和 PIPE 语法。
- PySpark 生态增强，为用户提供更完整的数据处理和开发体验。
- Spark Connect 和客户端兼容性增强，通过 Spark Connect，客户端应用可以与 Spark Driver 解耦。
- 扩展 Map 类型字段的计算能力，支持参与
GROUP BY、MAX等操作，提升复杂类型在 Hive 兼容场景下的处理能力。 - 完善 Window 函数语法兼容性，支持默认
ORDER BY表达式，降低 Hive SQL 迁移和改造成本。 - 优化 Spark 3/4
OptimizeSkewJoin规则，支持Broadcast Join，提升数据倾斜场景下的执行效率和稳定性。
- 组件升级至 4.x 版本。 4.1 版本的主要增强功能包括：
- Kyuubi：组件升级至 1.11.1 版本。
- Celeborn：组件升级至 0.6.2 版本。
EMR 2026 年 07月7日 EMR on ECS 管控平台在各个地域陆续发布 1.27.0 版本，重点功能更新如下。
- EMR 平台功能更新
功能名称 功能描述 发布地域 创建与管理集群
EMR 数据防误删能力增强，通过 EMR 访问的 TOS 存储桶，若未开启数据保护，系统将在 EMR 控制台总览页面自动发出提示。
- 开启分层命名空间的存储桶，即 HNS 存储桶，推荐开启回收站。
- 未开启分层命名空间的存储桶，即 FNS 存储桶，推荐开启版本控制。
华南、柔佛、华北、华东
新增外置日志存储能力：创建集群或运行中的集群添加 Ranger 服务时，可选择把审计日志写入外置的自建 OpenSearch 集群或火山云搜索服务。
开启后，集群的 Ranger 鉴权等审计日志将存储到外置的 OpenSearch 集群或火山云搜索服务中，适用于需要统一管理日志、自定义日志保留策略或对接已有日志平台的场景。
详细参数说明请参见创建集群。
华南、柔佛、华北、华东
创建 TASK 节点组时，支持定时创建预约按量付费实例，在定金支付后4～8小时后获取实例。相比按量付费节点弹性伸缩，成功率更高和费用更低。
预约购买后可以在资源交付时间段内自动创建按量计费实例，并按照弹性预约实例价格进行计费。预约按量付费将在预约后收取定金，并在交付时间内保证资源交付。
华南、柔佛、华北、华东
新增支持导入节点的 ECS ID 列表批量下线 YARN NodeManager 和 HDFS DataNode。
华南、柔佛、华北、华东
集群运维
授权运维功能权限策略细化，将控制台授权与云服务器授权分别管理，支持细化至用户及命令级别。
详细信息请参见授权远程协助运维。
华南、柔佛、华北、华东
新增支持运维任务下发时跳过异常节点。若集群节点由于手动关停、到期关停、故障而状态异常时，下发运维任务时，可选择跳过异常节点。
支持跳过异常节点的运维任务包括：
- 修改服务参数
- 对服务或组件执行 启动、添加、重启或停止操作
- Yarn 管理节点资源和信息
- 节点组磁盘扩容和配置变更
华南、柔佛、华北、华东
日志中心
- EMR 后台服务组件升级时，自动重启关联依赖服务。支持用户从 **操作日志 **中查看组件升级及服务重启日志。
- 服务日志新增支持查看 StarRocks FE 服务的日志信息。
华南、柔佛、华北、华东
通用
新增支持服务参数优化提示。当 EMR 检测到您的服务参数有更优配置时，会在控制台**服务管理 **界面给您提供参数配置的最佳实践参考建议。
例如，您的节点配置变更后，EMR **服务管理 **页面顶端会给出节点配置变更后参数配置的最佳实践建议提示，并提供详情链接，您可点击 **配置修改 **链接进入相应页面，支持一次性修改多项服务参数。
华南、柔佛、华北、华东
- EMR 软件栈更新
软件栈版本 功能描述 发布地域 软件栈 EMR-V3.23.0
与 EMR on ECS 相关的软件栈 V3.23.0 版本的新功能如下。软件栈版本的全量动态说明请参见：EMR-3.23.0发布说明。
- Paimon
- Paimon 组件升级至 1.1 版本。
华南、柔佛、华北、华东
- Paimon
EMR 2026 年 05月14日 EMR on ECS 管控平台在各个地域陆续发布 1.26.0 版本，重点功能更新如下。
- EMR 平台功能更新
功能名称 功能描述 发布地域 集群弹性伸缩
弹性伸缩功能更新，新增/完善了弹性伸缩规则，您可结合业务场景灵活设置集群的弹性伸缩规则。
- 按队列维度负载伸缩：负载伸缩规则支持按 YARN 队列维度的资源指标触发弹性伸缩，支持选择子队列（如支持 root.default、root.production 等子队列），实现更精细的资源调度控制。
- 伸缩规则重试时间：新增重试时间配置，在设置的重试时间内，EMR每隔30秒尝试执行一次，直到满足条件时执行伸缩动作。
- 编辑/删除规则限制：生效中的规则自动禁用编辑和删除操作，防止误改正在运行的伸缩策略。
- 资源池标签：支持为扩容节点自动打资源池标签，确保新扩容节点自动归入指定资源池，无需手动配置。
更多弹性伸缩操作指导请参见弹性伸缩。
华南、柔佛、华北、华东
集群监控
集群监控>Node页面，新增节点级 CPU、内存、磁盘等负载指标监控图表，支持按时间段筛选查看。
- Overview 页面支持按时间段筛选，查看节点负载指标 Top N 图表。
- Node 页面支持按时间段筛选，查看单个或多个节点的负载指标图表，单次最多展示 100 个节点。
更多Node监控指标请参见Node监控指标。
华南、柔佛、华北、华东
Celeborn 服务监控能力优化，新增支持在服务监控页面、集群服务节点列表中展示异常 worker 信息：
- 当存在异常 Worker 节点时，在服务监控页面会直接展示异常信息，支持一键跳转至服务列表 > Celeborn > 部署拓扑页面，展示Celeborn Worker列表，快速定位异常节点。
- 跳转至 Celeborn Worker 列表页面后，您可查看异常原因描述。
华南、柔佛、华北、华东
集群节点组
新增支持 Gateway 类型的节点组。GateWay 节点组可添加并纳管的其他节点，可自动化更新客户端组件、同步EMR集群配置，可满足修改配置、新增开发机等场景下，快速变更、配置开发机参数的需求。
- 仅支持 Hadoop 集群。
- 仅 EMR 3.x 版本大于等于 EMR-3.5.0，EMR 2.x 版本大于等于EMR-2.4.0支持。
更多节点组详情请参见节点组管理。
华南、柔佛、华北、华东
组件拓扑管理
组件服务批量操作体验提升，支持按服务状态一键勾选节点，支持按"运行中"、"已停止"、"已下线"和"异常"四种状态快速筛选。
华南、柔佛、华北、华东
管理服务配置参数
支持对自定义参数配置加密属性。开启后，参数在数据库中加密存储、在控制台页面中脱敏展示，同时在集群节点的配置文件中自动解密为正确值，保障密钥等敏感信息全链路安全。
更多管理服务配置参数操作指导请参见管理服务配置参数。
华南、柔佛、华北、华东
EMR AI 助手
新增支持诊断 EMR on ECS 的 pyspark 作业。
更多 EMR AI 助手的使用请参见：快速上手。
华南、柔佛、华北、华东
- 按队列维度负载伸缩：负载伸缩规则支持按 YARN 队列维度的资源指标触发弹性伸缩，支持选择子队列（如支持 root.default、root.production 等子队列），实现更精细的资源调度控制。
- EMR 软件栈更新
软件栈版本 功能描述 发布地域 软件栈 EMR-V3.22.0
与 EMR on ECS 相关的软件栈V3.22.0版本的新功能如下。软件栈版本的全量动态说明请参见：EMR-3.20.0发布说明。
- Proton
- Proton组件升级至2.3.17版本，详情请参见Proton 发行版本。
- Spark
- Spark 组件新增支持对 3.0 版本的 Lance 格式的数据进行读写操作。
华南、柔佛、华北、华东
- Proton
EMR 2026年03月12日 EMR on ECS 管控平台发布1.25.0版本，重点功能更新如下。
- EMR 平台功能更新
功能名称 功能描述 发布地域 集群配置
- 新增支持修改 Hadoop 集群/自定义集群的安全组配置。
- 集群新增支持直接查看并跳转至元数据链接实例。
- 设置集群弹性伸缩节点时，新增支持同步设置弹性伸缩节点的可用区及网络配置。
- 修改集群的服务参数时，对于需要同步修改多个节点的服务参数，新增支持批量修改多节点的功能，提高服务参数修改操作效率。
华南、柔佛、华北、华东
- 华北2（北京）
- 华南1（深圳）
服务组件
服务组件被修改后，重启服务组件时，支持多种重启方式：重启、强制重启、自行重启，选择重启/强制重启时，新增支持配置“滚动重启”开关。
- 强制重启将立即重启目标进程，执行清理不会保存数据，不建议对正常运行的服务进程进行该操作。
- 打开滚动重启开关后，后续服务重启时，滚动重启不会停止整个服务组件，EMR将按照一定顺序逐个重启服务组件，整体重启时间相比于直接重启更长，但不会停止所有服务。
当前HDFS 、YARN、Presto、Spark组件支持此功能，更多关于服务重启的说明请参见添加/重启服务。
华南、柔佛、华北、华东
欠费逻辑 包年包月类型的EMR on ECS 集群资源欠费逻辑与 ECS 保持一致，在到期日至次日中午12点可正常使用，12点后自动停服，停服期间正常计收。保留期15天。更多欠费逻辑的说明请参见：欠费说明。 华南、柔佛、华北、华东 - 新增支持修改 Hadoop 集群/自定义集群的安全组配置。
- EMR 软件栈更新
功能名称 功能描述 发布地域 DolphinScheduler 新增支持向下游节点输出 DolphinScheduler Serverless任务的JobID，便于基于JobID 对 Serverless 任务做一些信息收集，方便做数据关联（升级为血缘），更多输出 Serverless 任务JobID的操作指导请参见：Dolphin Serverless 任务输出 JobID。 华南、柔佛、华北、华东
EMR 2026年01月15日 EMR on ECS 管控平台发布1.24.0版本，同时软件栈发布3.20.0版本，重点功能更新如下。
- EMR 平台功能更新
功能名称 功能描述 发布地域 集群元数据
创建 Presto、Trino 集群时，集群的 Hive 服务的元数据新增支持选择 LAS Catalog。
LAS Catalog 为您提供全托管、免运维、高可用、高性能的统一元数据服务，同时适用于测试和生产场景，将Hive 服务的元数据选择为 LAS Catalog 后，可基于 LAS Catalog 实现多服务元数据的统一管理。
警告
- 当前仅 Hive 服务和EMR 3.11.3及以上版本支持选择LAS Catalog。
- 仅支持选择同地域下创建好的 LAS Catalog。如果没有可选的LAS Catalog，您可单击页面的”创建Catalog“，前往LAS Catalog页面进行创建。
华南、柔佛、华北、华东
磁盘挂载
优化 EMR on ECS 的磁盘挂载上限，与底层 ECS 规格本身支持挂载的上限一致。
如上图所示，，当创建集群或修改扩容集群时，每个集群实例支持挂载的数据盘数量上限与当前所选的ECS规格可挂载的数据盘上限一致
服务参数
界面优化，HDFS、MapReduce、Spark、Hive、YARN、ZOOKEEPER、kyuubi 服务在服务参数页面新增展示服务参数描述，您可在界面便捷的查看、了解各个服务参数的含义。
- EMR 软件栈更新
软件栈版本 功能描述 发布地域 软件栈 EMR-V3.20.0
与 EMR on ECS 相关的软件栈V3.20.0版本的新功能如下。软件栈版本的全量动态说明请参见：EMR-3.20.0发布说明。
- Proton
- Proton组件由2.3.8版本升级至2.3.10，新增支持了Flink 2.2，详情请参见Proton 发行版本。
- DolphinScheduler
- DolphinScheduler的Serverless 作业插件新增支持自定义参数，更多DolphinScheduler的Serverless 作业插件的介绍和使用指导请参见使用作业插件（Task Plugin）。
- Presto
- 【Presto】支持客户配置引擎参数，支持监控指标。
华南、柔佛、华北、华东
- Proton