队列创建完成后，会为您自动创建一个Default的通用计算组，同时支持您根据后续作业运行需要自行规划并创建自定义计算组。以下为您介绍各类计算组的细分类型和资源分配方式。

由上可知：

• 队列中实际可用的资源量即为Default计算组的资源量，如果再次创建新的计算组，则会从Default计算组中再进行资源分配。
• 在创建计算组的过程中，如果有作业刚好运行在Default计算组中、占用了部分Default计算组资源，可能会出现需要分配给新建计算组的资源被临时占用的情况，此时会根据新建计算组时配置的“资源抢占策略”来处理被运行在Default计算组作业临时占用的资源。

• 已完成 EMR Serverless 独占队列创建，详见创建队列。
• 拥有对应队列的权限（至少Developer权限）。如果没有对应队列的操作权限，您需先联系队列管理员为您添加权限。

创建入口 #

1. 登录E-MapReduce控制台，在左上角选择地域，在左侧导航栏，选择 资源管理>Serverless，在Serverless页面，选择需要创建通用计算组的队列，进入队列详情页。
   

2. 在队列详情页面的左侧导航栏选择计算组，​在计算组页面，单击页面右上角的创建计算组，选择需要创建的计算组类型：
   

   计算组类型	适用任务场景及特性
   通用计算组	可执行Spark、Spark Jar、Ray Job等多种作业。支持配置常驻（MIN）容量及最大（MAX）容量，MIN容量独占且相互隔离，保障作业运行，当计算组MAX容量大于MIN容量、且作业请求量大于MIN值时，将可以占用其他通用组MAX-MIN且空闲的容量，以此实现更精细和弹性的资源划分，灵活适配各种离线生产业务与基础服务。
   SparkSQL Warehouse	专项高效执行Spark SQL作业。对于 SparkSQL 这样的任务，Spark SQL Warehouse 计算组通过预热资源的方式减少了任务执行的延迟，使任务能够在秒级时间内启动，特别适用于需要快速响应的即席查询任务。
   PrestoSQL Warehouse	专项高效执行 Presto SQL作业。面向交互式分析与即席查询 (Ad-hoc) ，通过创建 Presto SQL Warehouse 计算组，为 PrestoSQL 任务预留常驻资源，提供低响应的的数据探索体验。
   Ray Cluster	专项高效执行Ray Job。支持大规模异构算力调度，是分布式 AI 训练与数据处理底座。
   Ray Serve	适用于部署模型执行推理任务。提供生产级模型推理服务，支持高开发流量与多模型联合部署。

3. 根据选择的计算组类型配置计算组参数，配置参数详细说明请参见下文 配置计算组参数 章节。

配置计算组参数：通用计算组 #

1. 配置基本信息。
   

   参数	配置说明
   计算组名称 & 备注	自定义计算组名称与备注信息，便于后续标识对应计算组。 例如，通过备注写明计算组的业务用途或归属部门。

2. 配置计算组容量。根据当前队列的可分配资源，为当前的计算组分配独享的“常驻容量”和灵活弹性的“最大容量”。
   

   参数	配置说明
   常驻（MIN）容量	当前计算组的独享资源。配置后，后续会将队列中隔离出对应容量的资源作为当前计算组的专属资源，为后续运行在此计算组上任务的最少资源。
   最大（MAX）容量	可自动弹性扩容后的最大资源数。当计算组上的任务量增多时，EMR Serverless会自动为您扩容计算组资源，当任务运行完成后，再自动释放扩容的资源。当前支持选择扩容后的最大容量为： 跟随队列最大：扩容后的最大资源容量为整个队列资源的最大容量。 自定义：自定义扩容后的最大资源容量，最多不可超过当前队列的最大资源容量。

3. 计算组配置。
   

   参数	配置说明
   并发上限	设置计算组任务的并发上限。
   Runtime	设置计算组任务的执行引擎。支持选择开源的“Java Runtime”引擎或自研的“Bolt加速”引擎。
   元数据	设置当前计算组中的作业使用哪里的元数据服务进行数据处理。
   VPC & HMS 连接 （外部HMS需配置）	如果计算组的元数据为“外部HMS”类型，则您还需配置连接外部HMS的网络信息（VPC、子网、安全组）和对应HMS的连接地址。 连接外部HMS的网络：需设置设置为与HMS服务所在网络联通的VPC网络信息（VPC、子网、安全组）。 HMS的连接地址：格式为thrift://<HMS IP/Domain>:<HMS Port> 完成设置后，您可单击“测试链接”测试网络的联通性。

4. 其他配置。
   

   参数	配置说明
   存储路径挂载	为当前计算组添加存储挂载。 当前支持添加挂载vePFS、NAS、TOS至计算组。 其中挂载vePFS、NAS前，您需先完成存储网络相关配置，详情请参见存储挂载概述。

配置计算组参数：SparkSQL Warehouse #

1. 配置基本信息。
   

   参数	配置说明
   计算组名称 & 备注	自定义计算组名称与备注信息，便于后续标识对应计算组。 例如，通过备注写明计算组的业务用途或归属部门。

2. 配置计算组容量。根据当前队列的可分配资源，为当前的计算组分配Driver、Worker节点的资源配额。
   

   参数	配置说明
   Driver 规格	设置Driver节点可用的资源规格。Driver数量默认为 1 个且不允许修改。
   Worker （常驻） & Worker （按需）规格	设置每个Worker节点可用的资源规格；并设置常驻Worker节点和按需Worker节点的数量，常驻Worker节点和按需Worker节点的资源规格一致。其中： 常驻Worker节点：代表计算组启动后会立即拉起并一直保留的worker个数，适合响应延迟敏感的任务，无需等待资源申请。 按需Worker节点：可自动弹性扩容的节点数。当计算组上的任务量增多时，EMR Serverless会自动为您扩容Worker节点，当任务运行完成后再自动释放。

3. 计算组配置。
   

   参数	配置说明
   资源交付策略	若 Default 计算组的资源被其他作业占用，无足够空闲资源可用，请选择合适交付策略。当前支持选择： 等待：等待任务结束释放资源，可设置不超过30分钟 的等待时间。 抢占：立刻结束任务释放资源，这可能导致其他任务失效。 说明 新建计算组时，分配给计算组的资源实际是从Default计算组中进行资源分配，可能会出现资源被临时占用的情况，详情请参见上文的 背景信息 章节。
   等待超时时间 （”等待“类需配置）	”资源交付策略“为”等待“时，需配置等待的超时时间，单位为”分钟“。
   调度策略	对应开源参数 spark.scheduler.mode ，支持： FAIR：公平调度 FIFO：先进先出
   并发上限	设置计算组任务的并发上限。
   Runtime	设置计算组任务的执行引擎。支持选择开源的“Java Runtime”引擎或自研的“Bolt加速”引擎。
   元数据	设置当前计算组的元数据类型。
   VPC & HMS 连接 （外部HMS需配置）	如果计算组的元数据为“外部HMS”类型，则您还需配置连接外部HMS的网络信息（VPC、子网、安全组）和对应HMS的连接地址。 连接外部HMS的网络：需设置设置为与HMS服务所在网络联通的VPC网络信息（VPC、子网、安全组）。 HMS的连接地址：格式为thrift://<HMS IP/Domain>:<HMS Port> 完成设置后，您可单击“测试链接”测试网络的联通性。

4. 自定义配置。您可根据需要将一些其他的资源配置通过自定义参数的方式配置到此处，配置格式为key-value格式，多个参数使用换行分隔。支持配置的参数请参见 available properties。
   

配置计算组参数：PrestoSQL Warehouse #

基础配置项 #

1. 配置基本信息。
   

   参数	配置说明
   计算组名称 & 备注	自定义计算组名称与备注信息，便于后续标识对应计算组。 例如，通过备注写明计算组的业务用途或归属部门。

2. 配置计算组容量。根据当前队列的可分配资源，为当前的计算组分配Coordinator、Worker节点的资源配额。
   

   参数	配置说明
   Coordinator 规格	设置Coordinator节点可用的资源规格。Coordinator数量默认为 1 个且不允许修改。
   Worker （常驻） & Worker （按需）规格	设置每个Worker节点可用的资源规格；并设置常驻Worker节点和按需Worker节点的数量，常驻Worker节点和按需Worker节点的资源规格一致。其中： 常驻Worker节点：代表计算组启动后会立即拉起并一直保留的worker个数，适合响应延迟敏感的任务，无需等待资源申请。 按需Worker节点：可自动弹性扩容的节点数。当计算组上的任务量增多时，EMR Serverless会自动为您扩容Worker节点，当任务运行完成后再自动释放。

3. 计算组配置。
   

   参数	配置说明
   资源交付策略	若 Default 计算组的资源被其他作业占用，无足够空闲资源可用，请选择合适交付策略。当前支持选择： 等待：等待任务结束释放资源，可设置不超过30分钟 的等待时间。 抢占：立刻结束任务释放资源，这可能导致其他任务失效。 说明 新建计算组时，分配给计算组的资源实际是从Default计算组中进行资源分配，可能会出现资源被临时占用的情况，详情请参见上文的 背景信息 章节。
   等待超时时间 （”等待“类需配置）	”资源交付策略“为”等待“时，需配置等待的超时时间，单位为”分钟“。
   并发上限	设置计算组任务的并发上限。
   Runtime	设置计算组任务的执行引擎。支持选择开源的“Java Runtime”引擎或自研的“Bolt加速”引擎。
   元数据	设置当前计算组的元数据类型。
   VPC & HMS 连接 （外部HMS需配置）	如果计算组的元数据为“外部HMS”类型，则您还需配置连接外部HMS的网络信息（VPC、子网、安全组）和对应HMS的连接地址。 连接外部HMS的网络：需设置设置为与HMS服务所在网络联通的VPC网络信息（VPC、子网、安全组）。 HMS的连接地址：格式为thrift://<HMS IP/Domain>:<HMS Port> 完成设置后，您可单击“测试链接”测试网络的联通性。
   Resource Group 参数配置	如果您有自定义的Resource Group 配置文件，可将文件上传至同地域的TOS中，在此处请选择或输入 Resource Group 配置的文件TOS路径，后续任务资源分配时机会调用对应配置文件，参考配置文件的设置结果进行资源分配。 说明 如果您在Resource Group 配置也配置了并发上限，则此处的配置结果生效，上方页面中配置的并发上限不生效。

自定义参数配置 #

Presto计算组支持自定义参数配置，包括custom catalogs、access control等，以下为您示例这两个自定义参数的配置指导。

1. 参考上文创建好PrestoSQL Warehouse计算组后，在计算组详情页面单击“参数配置”，进入参数配置页面后单击“添加Catalog参数”，即可开始配置自定义参数。
   
2. 配置Custom catalogs。
   1. 参数配置方式可参考：https://prestodb.io/docs/0.283/connector.html。
      
   2. 创建完成后，可点击编辑，修改custon catalogs信息，无需重启计算组。（由于存在缓存时间，配置修改约在1min后生效）。
   3. 点击删除按钮，可删除此catalog。
3. 配置Access control，以开启自定义权限控制。
   1. 参数配置方式可参考：https://prestodb.io/docs/0.283/security/built-in-system-access-control.html
      
   2. 规则定义完成后，可点击编辑按钮修改规则，修改后无需重启计算组，5min内配置生效。
   3. 关闭权限控制：您也可编辑Access-control-rule，删除全部内容后保存，之后重启计算组生效，通过删除配置结果来关闭权限控制。

配置计算组参数：Ray Cluster #

基础配置项 #

1. 配置基本信息。
   

   参数	配置说明
   计算组名称 & 备注	自定义计算组名称与备注信息，便于后续标识对应计算组。 例如，通过备注写明计算组的业务用途或归属部门。

2. 配置计算组容量。

   1. （可选）如果您的队列包含GPU资源，则您可在容量配置的资源类型的下拉框中选择GPU资源组，选中后，在下方资源分配表中分配GPU、CPU资源。

   2. 根据当前队列的可分配资源，为当前的计算组分配Head、Worker节点的资源配额。
      

      参数	配置说明
      Head 规格	设置Head节点可用的资源规格。Head数量固定为 1 个。
      Worker	设置每个Worker节点可用的资源规格；并设置常驻Worker节点和按需Worker节点的数量，常驻Worker节点和按需Worker节点的资源规格一致。其中： 常驻Worker节点：代表计算组启动后会立即拉起并一直保留的worker个数，适合响应延迟敏感的任务，无需等待资源申请。 按需Worker节点：可自动弹性扩容的节点数。当计算组上的任务量增多时，EMR Serverless会自动为您扩容Worker节点，当任务运行完成后再自动释放。

3. 计算组配置。
   

   参数	配置说明
   镜像 & 镜像地址	选择任务运行的镜像环境，当前支持选择为您提供的官方基础镜像，或选择已上传至镜像仓库的自定义镜像、
   GCS高可用 & Redis URL & 密码	您可根据需要选择是否需要打开GCS高可用开关。 建议您开启GCS高可用开关，开启后，后续可基于GCS的容错机制保障任务的容错能力，详情请参见 GCS高可用帮助文档 。 GCS 的高可用能力底层依赖高可用性的 Redis 服务，因此您开通了GCS高可用开关后，还需配置对应的Redis集群的连接URL和密码。
   资源交付策略	若 Default 计算组的资源被其他作业占用，无足够空闲资源可用，请选择合适交付策略。当前支持选择： 等待：等待任务结束释放资源，可设置不超过30分钟 的等待时间。 抢占：立刻结束任务释放资源，这可能导致其他任务失效。 说明 新建计算组时，分配给计算组的资源实际是从Default计算组中进行资源分配，可能会出现资源被临时占用的情况，详情请参见上文的 背景信息 章节。
   等待超时时间 （”等待“类需配置）	”资源交付策略“为”等待“时，需配置等待的超时时间，单位为”分钟“。
   访问配置	配置是否打开访问配置开关，打开后需配置Ray 集群 Head 节点的入站访问地址（访问集群的 VPC 和公网IP），配置完成后，后续可通过配置的固定访问地址来连接集群，即集群访问地址不会随计算组重启而变更。 私有网络、子网、安全组：打开访问配置开关后，您需设置访问集群的VPC网络、子网和安全组。 公网 IP：您可按需打开公网 IP开关，绑定公网 IP 以启用公网连接。开启公网有安全风险，请谨慎操作。

4. 自定义配置。您可根据需要将一些其他的资源配置通过自定义参数的方式配置到此处，配置格式为key-value格式，多个参数使用换行分隔。

5. 其他配置。
   

   参数	配置说明
   存储路径挂载	为当前计算组添加存储挂载。 当前支持添加挂载vePFS、NAS、TOS至计算组。 其中挂载vePFS、NAS前，您需先完成存储网络相关配置，详情请参见存储挂载概述。

自定义参数配置 #

Ray Cluster、Ray Serve 计算组支持自定义参数配置，参考上文创建好计算组后，在计算组详情页面单击“参数配置”，进入参数配置页面后单击“编辑”，即可开始配置自定义参数。

支持的自定义参数列表如下。

{"pip":["requests==2.26.0","pendulum==2.1.2","s3fs"],"env_vars":{"counter_name":"test_counter"}}

[{"name":"ENV_K1","value":"ENV_V1"}]

[{"name":"ENV_K1","value":"ENV_V1"}]

配置计算组参数：Ray Serve #

基础配置项 #

1. 配置基本信息。
   

   参数	配置说明
   Ray 服务名称 & 备注	自定义 Ray 服务名称与备注信息，便于后续标识对应计算组。 例如，通过备注写明计算组的业务用途或归属部门。

2. 配置计算组容量。根据当前队列的可分配资源，为当前的计算组分配Head、Worker节点的资源配额。
   

   参数	配置说明
   Head 规格	设置Head节点可用的资源规格。Head数量固定为 1 个。如果您的队列包含GPU资源，还需设置Head节点的GPU数。
   Worker （常驻） & Worker （按需）规格	设置每个Worker节点可用的资源规格；并设置常驻Worker节点和按需Worker节点的数量，常驻Worker节点和按需Worker节点的资源规格一致。其中： 常驻Worker节点：代表计算组启动后会立即拉起并一直保留的worker个数，适合响应延迟敏感的任务，无需等待资源申请。 按需Worker节点：可自动弹性扩容的节点数。当计算组上的任务量增多时，EMR Serverless会自动为您扩容Worker节点，当任务运行完成后再自动释放。

3. 计算组配置。
   

   参数	配置说明
   镜像 & 镜像地址	选择任务运行的镜像环境，当前支持选择为您提供的官方基础镜像，或选择已上传至镜像仓库的自定义镜像、
   资源交付策略	若 Default 计算组的资源被其他作业占用，无足够空闲资源可用，请选择合适交付策略。当前支持选择： 等待：等待任务结束释放资源，可设置不超过30分钟 的等待时间。 抢占：立刻结束任务释放资源，这可能导致其他任务失效。 说明 新建计算组时，分配给计算组的资源实际是从Default计算组中进行资源分配，可能会出现资源被临时占用的情况，详情请参见上文的 背景信息 章节。
   等待超时时间 （”等待“类需配置）	”资源交付策略“为”等待“时，需配置等待的超时时间，单位为”分钟“。

4. VPC 访问 RayServe 网络配置。
   

   参数	配置说明
   VPC & 子网 & 安全组	选择一个VPC网络，并设置对应的子网与安全组，用于后续生成 RayServe的推理地址。

5. Ray Serve 配置 & 自定义配置。
   

   • 您可以将Ray serve的配置YAML文件中的配置结果配置在此处，建议您使用 serve build工具自动生成YAML配置结果，然后将生成的内容配置在此处，YAML文件及serve build工具的详情请参见Serve Config Files。
   • 您可根据需要将一些其他的资源配置通过自定义参数的方式配置到此处，配置格式为key-value格式，多个参数使用换行分隔。

     说明

     Ray Serve场景下，您需要将模型挂载至EMR serverless队列中，您可以将模型直接集成在自定义镜像中，在上述Ray Serve的镜像配置中选择对应的自定义镜像；或者您可将模型上传至TOS中，在此处通过key-value格式配置好模型存储路径，后续提交作业时使用对应路径作为模型调用的路径。

6. 其他配置。
   

   参数	配置说明
   存储路径挂载	为当前计算组添加存储挂载。 当前支持添加挂载vePFS、NAS、TOS至计算组。 其中挂载vePFS、NAS前，您需先完成存储网络相关配置，详情请参见存储挂载概述。

自定义参数配置 #

与 Ray Cluster 一致，详情请参见上文的自定义参数配置。

查看计算组列表 #

完成计算组创
建后，后续您可以在计算组页面查看所有的计算组列表。

• 您可以在计算组列表页面查看当前计算组的状态，通常”运行中“的计算组为可用计算组；”启动中“的计算组为创建过程中的计算组。
• 将鼠标悬浮至”当前CPU用量/当前GPU分配量“列的图表上，您可以查看对应计算组的CPU/GPU资源分配情况。
• 还可查看创建人、运行时间等基础信息。

查看与修改计算组配置 #

1. 在计算组列表页面，单击对应计算组名称，进入计算组详情页面，

2. 可修改计算组的计算资源配置、元数据与网络配置等。
   
   不同类型的计算组支持修改的参数范围不一致，详情如下。

   计算组类型	支持修改的参数说明
   通用计算组（default）	计算组配置： 支持修改计算组的并发上限。 修改计算组的Runtime引擎。 元数据与网络连接： 支持变更元数据类型及网络连接VPC信息。 其他配置： 支持修改存储挂载配置
   通用计算组（自定义）	基本信息： 计算组的备注信息。 容量配置： 常驻容量：GPU分配量和卡数、CU分配量。 最大容量：支持修改最大容量的分配方式，自定义最大容量时可修改GPU分配量和卡数、CU分配量。 计算组配置： 修改计算组的并发上限。 修改计算组的Runtime引擎。 元数据与网络连接： 支持变更元数据类型及网络连接VPC信息。 其他配置： 支持修改存储挂载配置
   SparkSQL	基本信息： 计算组的备注信息。 容量配置： Driver节点和Worker节点的规格。 常驻Worker、按需Worker节点的数量。 计算组配置： 支持变更计算组的资源交付策略。 修改计算组的并发上限。 修改计算组的Runtime引擎。 自定义配置： 支持修改自定义参数的配置结果。 元数据与网络连接： 支持变更元数据类型及网络连接VPC信息。
   PrestoSQL	基本信息： 计算组的备注信息。 容量配置： Coordinator节点和Worker节点的规格。 常驻Worker节点数量。 计算组配置： 支持变更计算组的资源交付策略。 修改计算组的Runtime引擎。 注意 不支持修改计算组并发数、元数据与网络连接配置。
   Ray Cluster	基本信息： 计算组的备注信息。 容量配置： Head节点和Worker节点的GPU、CU分配量。 常驻Worker和按需Worker节点数量。 计算组配置： 修改GCS高可用开关的配置。 支持变更计算组的资源交付策略。 其他配置： 支持修改存储挂载配置 注意 不支持修改计算组的镜像、自定义配置。
   Ray serve	基本信息： 计算组的备注信息。 容量配置： Head节点和Worker节点的GPU、CU分配量。 常驻Worker和按需Worker节点数量。 计算组配置： 修改GCS高可用开关的配置。 支持变更计算组的资源交付策略。 其他配置： 支持修改存储挂载配置

3. 在计算组详情页面单击左侧导航的“参数配置”，进入参数配置页面，此处也可修改计算组的参数配置结果。

启停&删除计算组 #

• 您可以在计算组的操作列对运行中的计算组进行停止运行的操作，停止运行后，此计算组的资源将重新分配回Default计算组中。
• 对于已停止的计算组，您也可以进行重启操作，重启后，计算组的资源将重新分配给对应计算组。
• 对于不再使用的计算组，您也可以直接删除计算组。

进入web UI #

在部分计算组详情页面中，您可以跳转进入对应引擎的 UI 页面入口，以下以 Spark UI 为例，您可以通过UI页面入口便捷地跳转至 UI 页面。

当前支持的计算组类型包括：PrestoSQL、SparkSQL、Ray Cluster。

您可以在对应计算组详情页面的左侧导航栏单击“监控”，查看对应计算组的CPU/内存用量等常见计算组的监控指标详情，也支持灵活设置不同的数据监控时间范围。

创建作业 #

1. 完成队列的计算组创建后，您可以根据计算组类型开始创建并运行相关作业。常见操作入口如下。

   队列的作业创建通用入口	计算组列表页创建作业	计算组详情页创建作业
   在队列详情页面的右上角单击“创建作业”即可进入作业提交入口。 在此页面中，您可以编辑作业，并设置作业的开发类型、使用的计算组等。	在计算组列表页您也可以进入创建作业页面。	在计算组详情页您也可以进入创建作业页面。

2. 作业创建的详情请参见 创建并提交作业。

作业实例管理 #

作业运行后，您可以在对应计算组详情的作业实例管理页面查看当前计算组中运行的作业实例状态、运行耗时等详情。

• 您可单击对应作业实例，可进一步查看作业实例详情、提交日志等作业实例运行详情。
  
• 同时，EMR为您提供AI诊断功能，如果作业实例运行失败，您可使用AI诊断对失败任务进行智能诊断分析。AI 诊断功能当前为Beta功能，使用详情请参见EMR AI 助手快速入门。

SQL 编辑器 #

1. 完成队列的计算组创建后，您可以根据计算组类型开始创建并运行相关作业。常见操作入口如下。

   队列的作业创建通用入口	计算组详情页进入
   在队列详情的右上角单击“SQL编辑器”即可进入。 在此页面中，您可以编辑作业，并设置作业的开发类型、使用的计算组等。	在计算组详情页您也可以进入创建作业页面。

2. 作业创建的详情请参见 创建并提交作业。