You need to enable JavaScript to run this app.
文档中心
文档备案控制台
E-MapReduce

E-MapReduce

请输入
  • 文档首页
    • E-MapReduceRemote Shuffle Service（RSS）EMR Serverless RSS 服务
复制全文
下载 pdf
我的收藏
Remote Shuffle Service（RSS）
EMR Serverless RSS 服务
复制全文
下载 pdf
我的收藏
EMR Serverless RSS 服务

Serverless RSS（Serverless Remote Shuffle Service），是由火山引擎EMR团队开发，为 Spark/Flink/Hadoop/MapReduce 等大数据与 AI 场景提供远程 Shufflle 管理并提升性能、稳定性的产品。本文为您介绍如何创建、管理EMR Serverless RSS 服务。

注意事项
  • 当前 Serverless RSS 服务的功能为白名单功能，如果您希望使用此功能，可 提工单申请开通。
  • 仅管理员有创建、管理 Serverless RSS 的权限。

创建 Serverless RSS

创建入口

  1. 登录 EMR Serverless 控制台。

  2. 在顶部菜单栏中，根据实际场景，下拉选择地域和项目空间：

    1. 地域：创建的队列及相应资源将会部署在对应的地域内，一旦创建不能修改。
    2. 项目：默认显示默认项目。详见项目配置。

  3. 进入创建队列页面。

    1. 方式一：在总览界面，单击创建资源 > Serverless RSS 服务。
    2. 方式二：在左侧导航栏中，选择 资源管理 > Serverless，单击页面左上角的 创建资源 > Serverless RSS 按钮。

配置服务参数

配置资源信息

Image

配置项

说明

地域

选择资源所在的地理区域。不同地域的资源之间内网不互通。

可用区

选择资源所在的可用区。您可以选择单个或多个可用区，更配时允许追加，但不允许删减。选择多个可用区表示您接受跨可用区部署，且底层节点资源不一定平均分布在各可用区。当单个可用区资源不足或发生故障时，可以实现故障切换和容灾备份，但业务的访问响应延迟可能会增加。我们建议超过 3000CU 的队列使用多可用区方案，以获得更好的资源供应。

访问配置

配置是否打开 VPC 网络连接开关。开启后，同 VPC 的 EMR on ECS、EMR on VKE 集群可以使用 Serverless Celeborn。
开启网络连接需额外配置以下参数：

  • VPC：选择当前项目下的私有网络。
  • 子网：选择当前可用区内的子网。
  • 安全组：选择私有网络下的安全组。

配置付费信息

Image

配置项

说明

付费类型

当前仅支持“包年包月”类型，计费详情请参见：Shuffle 容量计费详情。

说明

当前 Serverless RSS 服务的付费类型整体仅支持包年包月类型，但是您可灵活设置包年包月服务的 固定 Shuffle 容量和弹性 Shulle 容量。

付费时长 & 自动续费

  • 付费时长：选择包年包月队列资源的购买时长。默认值：1个月。
  • 自动续费：设置当前包年包月队列资源到期后是否自动续费。建议开启，以避免因资源到期影响业务。开启后：
    • 系统将在资源到期前按月从账户余额中自动扣费，无需手动支付。
    • 自动续费的周期为固定的“每月”，即无论队列资源的付费时长配置为多长时间，后续自动续费时会自动续一个月的时长。

容量配置

配置项

说明

服务名称

自定义Serverless RSS 服务的名称用于标识服务，名称长度 1～64 位，只能包含小写字母、数字、_。

固定 Shuffle 容量

设置固定的 Shuffle 容量，固定 Shuffle 容量部分为包年包月的计费类型。

  • 容量单位：TiB。
  • 步进：3 TiB。
  • 固定 Shuffle 容量最少为 90 TiB。

弹性 Shuffle 容量

设置弹性的 Shuffle 容量，固定 Shuffle 容量部分为按量计费的计费类型。

  • 容量单位：TiB。
  • 步进：3 TiB。
  • 最多可设置 300 TiB 的弹性 Shuffle 容量。

其他配置

Image

配置项

说明

标签

为资源添加标签，便于分类和管理。您可以选择已有标签，或创建新标签。说明最多可添加20个标签。

查看创建结果

  1. 创建完成后，您可以在 RSS 服务页签中看到创建的 RSS 服务列表，当 RSS 服务的状态由“创建中”变更为“运行中”，表明 RSS 服务已创建成功、正常运行。
  2. 创建完成后，您可单击对应 RSS 服务名称，进入 RSS 服务详情页面，在 RSS 服务详情页面您可以查看服务地址、容量等信息。
    Image

下一步

绑定队列资源

创建好 Serverless RSS 服务后，您可以将服务绑定到 Serverless 队列资源中，您可以在创建新的队列资源时，或者编辑已创建的队列资源时，在“其他配置”中进行绑定。
Image
您可以打开独立 Shuffle 服务开关，在下拉框中选择已创建好的 RSS 服务，以获得更好的 Shuffle 性能与负载隔离。

作业应用RSS服务

  • 绑定服务的队列/计算组提交的作业将默认应用RSS服务，实现远程shuffle处理。
  • 也支持Spark作业通过设定参数应用RSS服务，具体参数如下：
    set spark.celeborn.master.endpoints=您的rss内网地址，如x.x.x.x:9097

管理 Serverless RSS 服务

修改容量配置

  1. 您可以在 RSS 服务列表页面单击操作列的更改容量配置，调整 RSS 服务的容量。
    Image
  2. 您可安选调整固定 Shuffle 容量和弹性 Shuffle 容量的容量大小，实现便捷的扩缩容操作。
    Image
    提交容量配置修改操作后，您需要等待扩缩容完成，最长等待时间 24h。

修改可用区

  1. 您可以在 RSS 服务列表页面单击操作列的可用区与访问配置，调整 RSS 服务的可用区配置结果。
    Image
  2. 在弹出的侧边栏中，添加新的可用区。
    Image

权限管控 & 服务监控

单击 RSS 服务列表页面操作列的监控、授权操作按钮，即可查看 RSS 服务的监控指标、对 RSS 服务进行权限管控。
Image

  • 服务监控：当前为您预置了活跃 Shuffle 任务数、Shuffle 分区数等场景 RSS 服务指标。
  • 权限管控：当前仅支持 Admin 用户操作、使用 RSS 服务，因此，如果您希望将 RSS 服务授权给其他用户使用，需授予对应用户/角色 Admin 权限。

服务续费&退订

单击 RSS 服务列表页面操作列的续费、退订操作按钮，即可进行续费、退订操作。
Image
退订 RSS 服务的操作不可逆，且将对关联的业务造成直接影响。强烈建议在退订前，前往计算队列解除以上关联关系，并确保已无正在运行的业务任务。

最近更新时间：2026.06.22 17:13:40
这个页面对您有帮助吗？
有用
有用
无用
无用