资源队列是 EMR Serverless 中用于管理和隔离计算资源的逻辑单元,是计算能力,同时也是计费概念。我们支持用户在Serverless创建公共队列及独占混合异构队列,您可以自由组合 CPU 与 GPU 资源,实现数据预处理(CPU 密集型)与模型推理(GPU 密集型)的无缝串联,大幅提升资源利用率。队列创建完成后可运行Spark、Ray、Presto等多种类型任务。队列计费信息请参考计费概述。
说明
如需配置GPU资源,可通过 提工单 的方式,联系火山引擎技术支持人员申请。
前提条件
- 已完成入门的相关准备工作。
- 已开通 EMR Serverless 服务。
- 队列创建购买前,请保证您的账户余额(即现金余额)大于等于0元,且余额加代金券的总金额不得小于100.00元人民币。
创建队列
创建入口
登录 EMR Serverless 控制台。
在顶部菜单栏中,根据实际场景,下拉选择地域和项目空间:
- 地域:创建的队列及相应资源将会部署在对应的地域内,一旦创建不能修改。
- 项目:默认显示默认项目。详见项目配置。
进入创建队列页面。
- 方式一:在总览界面,单击创建资源 > Serverless 队列。
- 方式二:在左侧导航栏中,选择 资源管理 > Serverless,单击页面左上角的 创建资源 > Serverless 队列 按钮。
配置队列参数
在创建队列界面,完成以下资源信息、付费信息、资源队列配置、元数据配置、其他配置等配置。
配置队列类型及付费信息
配置项 | 说明 |
|---|
队列类型 | 选择队列类型。 - 公共队列:开通 EMR Serverless 后,系统会为您自动分配一个“公共队列”资源,此部分资源为所有 EMR Serverless 用户共享,适用于开发测试环境、小型任务集群。
说明 公共队列为系统自动分配的公共资源,不支持自行创建新的公共队列;分配后,按实际使用量计费,不使用不收费,无需手动释放。 - 独占队列-包年包月:您可以选择创建包年包月的独占队列,此部分队列资源为您的专属队列资源,可保障关键任务的隔离性与安全性,适用于生产环境、关键任务。
- 独占队列-按时付费:EMR Serverless 同时还支持按时付费的独占队列资源类型,此类型的资源类型当前为白名单用户开放:
- 独占队列-按时付费队列资源在创建成功后即按小时粒度进行计费出账,不论此期间是否有真实使用队列资源,均会产生费用。适用于短时间、需要稳定运行作业的场景。
|
付费时长 & 自动续费
(包年包月独占队列需配置) | - 付费时长:选择包年包月队列资源的购买时长。默认值:1个月。
- 自动续费:设置当前包年包月队列资源到期后是否自动续费。建议开启,以避免因资源到期影响业务。开启后:
- 系统将在资源到期前按月从账户余额中自动扣费,无需手动支付。
- 自动续费的周期为固定的“每月”,即无论队列资源的付费时长配置为多长时间,后续自动续费时会自动续一个月的时长。
|
配置资源信息
配置项 | 说明 | 示例 |
|---|
地域 | 选择资源所在的地理区域。不同地域的资源之间内网不互通。 | 华北2(北京) |
可用区 | 选择资源所在的可用区。您可以选择单个或多个可用区,更配时允许追加,但不允许删减。选择多个可用区表示您接受跨可用区部署,且底层节点资源不一定平均分布在各可用区。当单个可用区资源不足或发生故障时,可以实现故障切换和容灾备份,但业务的访问响应延迟可能会增加。我们建议超过 3000CU 的队列使用多可用区方案,以获得更好的资源供应。 | 可用区A |
网络连接 | 开启后,可以打通Serverless Spark到目标VPC的网络。
开启网络连接需额外配置以下参数: - 私有网络:选择当前项目下的私有网络。
- 安全组:选择私有网络下的安全组。
- 全局跨VPC路由:
- 开启后,所有作业将自动绑定队列 VPC 网络(通过辅助网卡),所有作业都会消耗子网 IP,在作业高峰期可能因子网 IP 不足导致作业失败。
- 若关闭,可在作业级别添加参数
serverless.cross.vpc.access.enabled=true 按需启用跨 VPC 访问。 - 使用外部 HMS 作为元数据的计算组会默认绑定队列 VPC 网络(通过辅助网卡),不受配置控制。
| 开启 |
资源队列配置
配置项 | 说明 | 示例 |
|---|
队列名称 | 自定义队列的名称。可包含字母、数字、下划线,长度不超过99个字符。 | emr_queue |
CPU资源配置 | 机型 | 选择队列机型规格。
CPU 支持以下机型:
标准型 (1:4):1 vCPU 配 4 GiB 内存。
内存增强型 (1:8):1 vCPU 配 8 GiB 内存。
计算增强型 (1:2):1 vCPU 配 2 GiB 内存。 | 标准型 (1:4) |
固定 | 设置队列的固定资源大小,单位为 CU (Compute Unit)。这部分资源将按包年包月方式计费。
说明超过 50048 CU 的需求请通过提工单方式申请。 | 32 |
弹性 | 设置队列可动态扩展的弹性资源上限,单位为 CU。弹性容量在使用时按量计费。队列的弹性部分需小于等于256CU或最大限制(固定 CU 数),且输入值需为 32 CU 倍数。
说明如果不需要使用弹性资源,可设置为 0 CU。当前 1 CU 相当于 1 vCPU 和 4 GiB 内存。 | 0 |
GPU资源配置 | 规格 | 选择GPU资源规格。您可以在列表中选择一种或多种资源规格,每一种实例规格对应一定量的 CPU、内存、GPU,例如emr.ini2.7xlarge包含1张GPU-NVIDIA A30、28 vCPU 、234 GiB 内存。
注意:队列创建完成后暂不支持增加或删除规格。 | emr.ini2.7xlarge |
数量 | 配置每种规格的台数,如配置2台emr.ini2.7xlarge,则包含2张GPU-NVIDIA A30、56 vCPU 、468 GiB 内存。 | 2 |
mGPU | mGPU 方案通过内核虚拟化技术,实现单张 GPU 显卡的共享,灵活分配算力核心与现存资源并严格隔离。 开启 mGPU 后,队列中的作业可直接指定调用单张 GPU 的部分核心与显存容量,在小模型场景能显著降低使用成本,提升资源利用率。 | 开启 |
EngineRuntime | 选择 Spark 计算引擎环境,支持选择 Spark 版本及对应的 Java Runtime 或 Bolt Runtime。 注意 该选项仅对队列内 default 计算组内 Spark 作业生效,创建其他计算组时仍可以自行选择。 | Spark 3.5 (Java Runtime) |
元数据配置
配置项 | 说明 | 示例 |
|---|
LAS | 开通 EMR Serverless 队列时,需同步开通 LAS 作为元数据管理服务,LAS 开通详见:AI 数据湖服务开通。 | 开启 |
其他配置
配置项 | 说明 | 示例 |
|---|
默认授予使用权限 | 配置队列的默认访问权限。开启后,默认 全部账号 均可直接使用该队列,包括查看队列信息、监控以及向队列提交作业。 | 关闭 |
独立 Shuffle 服务 | 启用独立 Shuffle 服务后,您可以选择已经创建的 Serverless RSS 服务,以获得更好的 Shuffle 性能与负载隔离。 | |
额外云盘 | 额外云盘关闭时,每个 CPU 节点默认配备 1 块通用计算型 512 GiB 云盘。
当前额外云盘是白名单功能,如果您希望使用此功能,可提工单申请开通。
若您的作业需要更大的本地存储空间,可启用额外云盘扩展磁盘容量,支持更大的中间数据缓存和更复杂的数据处理任务。 - 云盘类型:云盘的存储类型。
- 单盘容量:扩容后每个节点的单个云盘的容量。取值范围为 513 GiB ~ 65536 GiB,队列创建完成后,单盘容量仅允许升配无法降配,请谨慎选择。
- 数量:单 CPU 节点云盘数量。队列创建完成后,单节点云盘数量无法变更,请谨慎选择。
说明 - 单节点云盘总容量 = 单节点云盘数量 * 单盘容量。
- 通用计算型云盘计费从 513 GiB 起步,若选择 弹性极速型云盘,免费额度为 256 GiB,计费从 257 GiB 起步。计费和云盘类型详细信息请参见存储资源:云盘计费详情。
| |
标签 | 为资源添加标签,便于分类和管理。您可以选择已有标签,或创建新标签。说明最多可添加20个标签。 | |
查看队列创建结果
- 配置参数填写完成后, 单击立即创建,完成队列创建。
- 进入控制台 > 资源管理 > Serverless 查看创建的队列,待队列状态更新为运行中,即代表创建成功。
后续操作
- 完成 EMR Serverless 队列的创建工作,后续您便可以开始创建并运行相关作业。详见创建并提交作业。
- 创建独占队列后可在队列内创建计算组,进行加速并实现隔离负载。详见创建与管理计算组。