You need to enable JavaScript to run this app.
文档中心
E-MapReduce

E-MapReduce

复制全文
下载 pdf
创建与管理队列
创建队列
复制全文
下载 pdf
创建队列

资源队列是 EMR Serverless 中用于管理和隔离计算资源的逻辑单元,是计算能力,同时也是计费概念。我们支持用户在Serverless创建公共队列及独占混合异构队列,您可以自由组合 CPU 与 GPU 资源,实现数据预处理(CPU 密集型)与模型推理(GPU 密集型)的无缝串联,大幅提升资源利用率。队列创建完成后可运行Spark、Ray、Presto等多种类型任务。队列计费信息请参考计费概述

说明

如需配置GPU资源,可通过 提工单 的方式,联系火山引擎技术支持人员申请。

前提条件
  • 已完成入门的相关准备工作
  • 已开通 EMR Serverless 服务。
  • 队列创建购买前,请保证您的账户余额(即现金余额)大于等于0元,且余额加代金券的总金额不得小于100.00元人民币。

创建队列

创建入口

  1. 登录 EMR Serverless 控制台

  2. 在顶部菜单栏中,根据实际场景,下拉选择地域和项目空间:

    1. 地域:创建的队列及相应资源将会部署在对应的地域内,一旦创建不能修改。
    2. 项目:默认显示默认项目。详见项目配置
  3. 进入创建队列页面。

    1. 方式一:在总览界面,单击创建资源 > Serverless 队列。
    2. 方式二:在左侧导航栏中,选择 资源管理 > Serverless,单击页面左上角的 创建资源 > Serverless 队列 按钮。

配置队列参数

在创建队列界面,完成以下资源信息、付费信息、资源队列配置、元数据配置、其他配置等配置。

配置队列类型及付费信息

配置项

说明

队列类型

选择队列类型。

  • 公共队列:开通 EMR Serverless 后,系统会为您自动分配一个“公共队列”资源,此部分资源为所有 EMR Serverless 用户共享,适用于开发测试环境、小型任务集群。

    说明

    公共队列为系统自动分配的公共资源,不支持自行创建新的公共队列;分配后,按实际使用量计费,不使用不收费,无需手动释放。

  • 独占队列-包年包月:您可以选择创建包年包月的独占队列,此部分队列资源为您的专属队列资源,可保障关键任务的隔离性与安全性,适用于生产环境、关键任务。
  • 独占队列-按时付费:EMR Serverless 同时还支持按时付费的独占队列资源类型,此类型的资源类型当前为白名单用户开放:
    • 独占队列-按时付费队列资源在创建成功后即按小时粒度进行计费出账,不论此期间是否有真实使用队列资源,均会产生费用。适用于短时间、需要稳定运行作业的场景。

付费时长 & 自动续费
(包年包月独占队列需配置)

  • 付费时长:选择包年包月队列资源的购买时长。默认值:1个月。
  • 自动续费:设置当前包年包月队列资源到期后是否自动续费。建议开启,以避免因资源到期影响业务。开启后:
    • 系统将在资源到期前按月从账户余额中自动扣费,无需手动支付。
    • 自动续费的周期为固定的“每月”,即无论队列资源的付费时长配置为多长时间,后续自动续费时会自动续一个月的时长。

配置资源信息

配置项

说明

示例

地域

选择资源所在的地理区域。不同地域的资源之间内网不互通。

华北2(北京)

可用区

选择资源所在的可用区。您可以选择单个或多个可用区,更配时允许追加,但不允许删减。选择多个可用区表示您接受跨可用区部署,且底层节点资源不一定平均分布在各可用区。当单个可用区资源不足或发生故障时,可以实现故障切换和容灾备份,但业务的访问响应延迟可能会增加。我们建议超过 3000CU 的队列使用多可用区方案,以获得更好的资源供应。

可用区A

网络连接

开启后,可以打通Serverless Spark到目标VPC的网络。
开启网络连接需额外配置以下参数:

  • 私有网络:选择当前项目下的私有网络。
  • 安全组:选择私有网络下的安全组。
  • 全局跨VPC路由:
    • 开启后,所有作业将自动绑定队列 VPC 网络(通过辅助网卡),所有作业都会消耗子网 IP,在作业高峰期可能因子网 IP 不足导致作业失败。
    • 若关闭,可在作业级别添加参数 serverless.cross.vpc.access.enabled=true 按需启用跨 VPC 访问。
    • 使用外部 HMS 作为元数据的计算组会默认绑定队列 VPC 网络(通过辅助网卡),不受配置控制。

开启

资源队列配置

配置项

说明

示例

队列名称

自定义队列的名称。可包含字母、数字、下划线,长度不超过99个字符。

emr_queue

CPU资源配置

机型

选择队列机型规格。
CPU 支持以下机型:
标准型 (1:4):1 vCPU 配 4 GiB 内存。
内存增强型 (1:8):1 vCPU 配 8 GiB 内存。
计算增强型 (1:2):1 vCPU 配 2 GiB 内存。

标准型 (1:4)

固定

设置队列的固定资源大小,单位为 CU (Compute Unit)。这部分资源将按包年包月方式计费。
说明超过 50048 CU 的需求请通过提工单方式申请。

32

弹性

设置队列可动态扩展的弹性资源上限,单位为 CU。弹性容量在使用时按量计费。队列的弹性部分需小于等于256CU或最大限制(固定 CU 数),且输入值需为 32 CU 倍数。
说明如果不需要使用弹性资源,可设置为 0 CU。当前 1 CU 相当于 1 vCPU 和 4 GiB 内存。

0

GPU资源配置

规格

选择GPU资源规格。您可以在列表中选择一种或多种资源规格,每一种实例规格对应一定量的 CPU、内存、GPU,例如emr.ini2.7xlarge包含1张GPU-NVIDIA A30、28 vCPU 、234 GiB 内存。
注意:队列创建完成后暂不支持增加或删除规格。

emr.ini2.7xlarge

数量

配置每种规格的台数,如配置2台emr.ini2.7xlarge,则包含2张GPU-NVIDIA A30、56 vCPU 、468 GiB 内存。

2

mGPU

mGPU 方案通过内核虚拟化技术,实现单张 GPU 显卡的共享,灵活分配算力核心与现存资源并严格隔离。 开启 mGPU 后,队列中的作业可直接指定调用单张 GPU 的部分核心与显存容量,在小模型场景能显著降低使用成本,提升资源利用率。

开启

EngineRuntime

选择 Spark 计算引擎环境,支持选择 Spark 版本及对应的 Java Runtime 或 Bolt Runtime。

  • Java Runtime:标准的 Java 运行时。
  • Bolt Runtime:火山引擎自研的原生内核加速引擎,可提升 Spark、Presto 等作业执行速度。详细介绍请参见Spark on Native 引擎:Bolt

注意

该选项仅对队列内 default 计算组内 Spark 作业生效,创建其他计算组时仍可以自行选择。

Spark 3.5 (Java Runtime)

元数据配置

配置项

说明

示例

LAS

开通 EMR Serverless 队列时,需同步开通 LAS 作为元数据管理服务,LAS 开通详见:AI 数据湖服务开通

开启

其他配置

配置项

说明

示例

默认授予使用权限

配置队列的默认访问权限。开启后,默认 全部账号 均可直接使用该队列,包括查看队列信息、监控以及向队列提交作业。

关闭

独立 Shuffle 服务

启用独立 Shuffle 服务后,您可以选择已经创建的 Serverless RSS 服务,以获得更好的 Shuffle 性能与负载隔离。

额外云盘

额外云盘关闭时,每个 CPU 节点默认配备 1 块通用计算型 512 GiB 云盘。
当前额外云盘是白名单功能,如果您希望使用此功能,可提工单申请开通。
若您的作业需要更大的本地存储空间,可启用额外云盘扩展磁盘容量,支持更大的中间数据缓存和更复杂的数据处理任务。

  • 云盘类型:云盘的存储类型。
  • 单盘容量:扩容后每个节点的单个云盘的容量。取值范围为 513 GiB ~ 65536 GiB,队列创建完成后,单盘容量仅允许升配无法降配,请谨慎选择。
  • 数量:单 CPU 节点云盘数量。队列创建完成后,单节点云盘数量无法变更,请谨慎选择。

说明

  • 单节点云盘总容量 = 单节点云盘数量 * 单盘容量。
  • 通用计算型云盘计费从 513 GiB 起步,若选择 弹性极速型云盘,免费额度为 256 GiB,计费从 257 GiB 起步。计费和云盘类型详细信息请参见存储资源:云盘计费详情

标签

为资源添加标签,便于分类和管理。您可以选择已有标签,或创建新标签。说明最多可添加20个标签。

查看队列创建结果

  1. 配置参数填写完成后, 单击立即创建,完成队列创建。
  2. 进入控制台 > 资源管理 > Serverless 查看创建的队列,待队列状态更新为运行中,即代表创建成功。

后续操作
  • 完成 EMR Serverless 队列的创建工作,后续您便可以开始创建并运行相关作业。详见创建并提交作业
  • 创建独占队列后可在队列内创建计算组,进行加速并实现隔离负载。详见创建与管理计算组
最近更新时间:2026.08.06 19:33:53
这个页面对您有帮助吗?
有用
有用
无用
无用