You need to enable JavaScript to run this app.
文档中心
E-MapReduce

E-MapReduce

请输入
  • 文档首页
    • E-MapReduceRemote Shuffle Service（RSS）EMR Serverless RSS 服务
复制全文
下载 pdf
我的收藏
Remote Shuffle Service（RSS）
EMR Serverless RSS 服务
复制全文
下载 pdf
我的收藏
EMR Serverless RSS 服务

Serverless RSS（Serverless Remote Shuffle Service），是由火山引擎EMR团队开发，为 Spark/Flink/Hadoop/MapReduce 等大数据与 AI 场景提供远程 Shufflle 管理并提升性能、稳定性的产品。本文为您介绍如何创建、管理EMR Serverless RSS 服务。

背景信息

为保障您的日常基础业务需求，EMR Serverless 为您提供 ”公共 RSS 服务“，为您提供一定量的免费容量并预设了一定量的弹性容量。您也可以按需创建 ”独占 RSS 服务“。

RSS 服务类型

服务说明

公共 RSS 服务

EMR Serverless 为所有用户提供共享的公共 RSS 服务：

  • 公共 RSS 服务为您提供一定量的免费容量。
    • 基础免费额度：租户级别 50 TiB 。
    • 高规格加赠策略：对于购买独占队列资源大于 1024 CU 的用户，每增加 32 CU，租户级别将额外获赠 3 TiB 免费固定容量。
  • 同时也为您默认设置了 900 TiB 的弹性容量。
    • 公共 RSS 将与 2026年 10 月 12 日 正式商业化，商业化后，当您的 Remote Shuffle 瞬时峰值超出免费固定容量且低于弹性容量上限时，超出部分（且在弹性容量范围内）将按实际使用量 × 时长进行计费。计费规则可参见Shuffle 容量计费详情。
    • 您可以在控制台通过 「更改弹性配置」 自主设置弹性容量上限，或将其设置为 0 TiB 以关闭弹性扩展。

      注意

      请谨慎配置弹性上限。若实际 Shuffle 容量需求超出了 “免费固定容量 + 弹性容量上限” 的总和，将会导致您的作业失败。

独占 RSS 服务

您可根据需要创建独占 RSS 服务，独占 RSS 服务资源独立适用与容量诉求大的场景，可保障 RSS 资源稳定。

  • 独占 RSS 服务支持组合配置“固定 Shuffle 容量”（包年包月）+“弹性 Shuffle 容量”（按量计费）。计费规则可参见Shuffle 容量计费详情。

注意事项
  • 当前 Serverless 独占 RSS 服务的功能为白名单功能，如果您希望使用此功能，可 提工单申请开通。
  • 仅管理员有创建、管理 Serverless 独占 RSS 的权限。

创建 Serverless 独占 RSS

创建入口

  1. 登录 EMR Serverless 控制台。

  2. 在顶部菜单栏中，根据实际场景，下拉选择地域和项目空间：

    1. 地域：创建的队列及相应资源将会部署在对应的地域内，一旦创建不能修改。
    2. 项目：默认显示默认项目。详见项目配置。

  3. 进入创建队列页面。

    1. 方式一：在总览界面，单击创建资源 > Serverless RSS 服务。
    2. 方式二：在左侧导航栏中，选择 资源管理 > Serverless，单击页面左上角的 创建资源 > Serverless RSS 按钮。

配置服务参数

配置资源信息

Image

配置项

说明

地域

选择资源所在的地理区域。不同地域的资源之间内网不互通。

可用区

选择资源所在的可用区。您可以选择单个或多个可用区，更配时允许追加，但不允许删减。选择多个可用区表示您接受跨可用区部署，且底层节点资源不一定平均分布在各可用区。当单个可用区资源不足或发生故障时，可以实现故障切换和容灾备份，但业务的访问响应延迟可能会增加。我们建议超过 3000CU 的队列使用多可用区方案，以获得更好的资源供应。

访问配置

配置是否打开 VPC 网络连接开关。开启后，同 VPC 的 EMR on ECS、EMR on VKE 集群可以使用 Serverless Celeborn。
开启网络连接需额外配置以下参数：

  • VPC：选择当前项目下的私有网络。
  • 子网：选择当前可用区内的子网。
  • 安全组：选择私有网络下的安全组。

配置付费信息

Image

配置项

说明

付费类型

当前仅支持“包年包月”类型，计费详情请参见：Shuffle 容量计费详情。

说明

当前 Serverless RSS 服务的付费类型整体仅支持包年包月类型，但是您可灵活设置包年包月服务的 固定 Shuffle 容量和弹性 Shulle 容量。

付费时长 & 自动续费

  • 付费时长：选择包年包月队列资源的购买时长。默认值：1个月。
  • 自动续费：设置当前包年包月队列资源到期后是否自动续费。建议开启，以避免因资源到期影响业务。开启后：
    • 系统将在资源到期前按月从账户余额中自动扣费，无需手动支付。
    • 自动续费的周期为固定的“每月”，即无论队列资源的付费时长配置为多长时间，后续自动续费时会自动续一个月的时长。

容量配置

配置项

说明

服务名称

自定义Serverless RSS 服务的名称用于标识服务，名称长度 1～64 位，只能包含小写字母、数字、_。

固定 Shuffle 容量

设置固定的 Shuffle 容量，固定 Shuffle 容量部分为包年包月的计费类型。

  • 容量单位：TiB。
  • 步进：3 TiB。
  • 固定 Shuffle 容量最少为 90 TiB。

弹性 Shuffle 容量

设置弹性的 Shuffle 容量，固定 Shuffle 容量部分为按量计费的计费类型。

  • 容量单位：TiB。
  • 步进：3 TiB。
  • 最多可设置 300 TiB 的弹性 Shuffle 容量。

其他配置

Image

配置项

说明

标签

为资源添加标签，便于分类和管理。您可以选择已有标签，或创建新标签。说明最多可添加20个标签。

查看创建结果

  1. 创建完成后，您可以在 RSS 服务页签中看到创建的 RSS 服务列表，当 RSS 服务的状态由“创建中”变更为“运行中”，表明 RSS 服务已创建成功、正常运行。
  2. 创建完成后，您可单击对应 RSS 服务名称，进入 RSS 服务详情页面，在 RSS 服务详情页面您可以查看服务地址、容量等信息。
    Image

下一步

绑定队列资源

创建好 Serverless RSS 服务后，您可以将服务绑定到 Serverless 队列资源中，您可以在创建新的队列资源时，或者编辑已创建的队列资源时，在“其他配置”中进行绑定。
Image
您可以打开独立 Shuffle 服务开关，在下拉框中选择已创建好的 RSS 服务，以获得更好的 Shuffle 性能与负载隔离。

绑定计算组资源

已创建的 Serverless RSS 服务也支持绑定到 Spark 计算组中，以获得更好的 Shuffle 性能与负载隔离。
Image

  • 计算组的独立 Shuffle 服务配置优先级高于队列配置。
  • 当前仅 Spark SQL 计算组支持配置独立 Shuffle 服务，通用计算组沿用队列的配置结果。

作业应用 RSS 服务

  • 绑定服务的队列/计算组提交的作业将默认应用RSS服务，实现远程shuffle处理。
  • 也支持Spark作业通过设定参数应用RSS服务，具体参数如下：
    set spark.celeborn.master.endpoints=您的rss内网地址，如x.x.x.x:9097

管理 Serverless RSS 服务

修改容量配置

  1. 您可以在 RSS 服务列表页面单击操作列的更改容量配置，调整 RSS 服务的容量。
    Image
  2. 您可调整固定 Shuffle 容量和弹性 Shuffle 容量的容量大小，实现便捷的扩缩容操作。
    • 缩容时开启优雅缩容并提交后，Shuffle资源将于任务结束或超时 12h 后缩容。
    • 缩容时关闭优雅缩容并提交后，Shuffle资源将立即强制缩容，可能造成运行中的作业失败，请谨慎选择。
      Image

修改可用区

  1. 您可以在 RSS 服务列表页面单击操作列的可用区与访问配置，调整 RSS 服务的可用区配置结果。
    Image
  2. 在弹出的侧边栏中，添加新的可用区。
    Image

权限管控 & 服务监控

单击 RSS 服务列表页面操作列的监控、授权操作按钮，即可查看 RSS 服务的监控指标、对 RSS 服务进行权限管控。
Image

  • 服务监控：当前为您预置了活跃 Shuffle 任务数、Shuffle 分区数等场景 RSS 服务指标。
  • 权限管控：当前仅支持 Admin 用户操作、使用 RSS 服务，因此，如果您希望将 RSS 服务授权给其他用户使用，需授予对应用户/角色 Admin 权限。

服务续费&退订

单击 RSS 服务列表页面操作列的续费、退订操作按钮，即可进行续费、退订操作。
Image
退订 RSS 服务的操作不可逆，且将对关联的业务造成直接影响。强烈建议在退订前，前往计算队列解除以上关联关系，并确保已无正在运行的业务任务。

最近更新时间：2026.09.16 19:29:51
这个页面对您有帮助吗？
有用
有用
无用
无用