You need to enable JavaScript to run this app.
文档中心
E-MapReduce

E-MapReduce

复制全文
下载 pdf
RayJob 作业
RayJob 作业:LAS 开发机提交
复制全文
下载 pdf
RayJob 作业:LAS 开发机提交

本文为您介绍如何在 LAS 开发机上安装 jupyter notebook 并连接 EMR Serverless 的 Ray 集群,提交作业的核心操作步骤。

背景信息

术语

说明

EMR Serverless & Ray

EMR Serverless 是火山引擎提供的全托管大数据平台,支持 Ray 等计算引擎。您无需关心底层 Kubernetes 集群的搭建和维护,只需通过控制台或 SDK 提交作业,平台会自动为您分配和回收计算资源,实现真正的 “开箱即用” 和 “按需付费。

LAS & 开发机

LAS 是火山引擎提供的 AI 数据湖服务,LAS 开发机是为算法开发者量身打造的专业开发环境,具备高效便捷的特性,开发者可借助其快速开启数据处理任务的编写、调试及运行流程。

前提条件

在开始之前,请确保已经完成以下准备工作:

  1. 火山引擎账号:已完成账号注册和实名认证。
  2. 开通服务:已开通 EMR Serverless 服务 和 LAS AI数据湖服务。

操作步骤

步骤一:创建资源队列(Queue)

资源队列是一个计算资源池,所有作业都运行在队列中。您需要先创建一个队列

  1. 登录 EMR 控制台,在左侧导航栏选择 Serverless > 队列管理。

  2. 点击 创建队列,选择独占队列。独占队列提供固定资源保障,并支持创建Ray 专用计算组,实现负载隔离与资源预留。创建时注意配置的VPC信息,后面我们创建LAS开发机的时候,需要配置完全相同的VPC,实现网络连接互通。

  3. 配置完成后,确认并创建队列。

步骤二:创建计算组(Compute Group)

计算组是执行作业的 “计算单元”,我们在这一步创建常驻的Ray Cluster。

  1. 在队列详情页面,选择 计算组 页签。

  2. 点击 创建计算组,选择Ray Cluster,配置好核心参数。注意这里选择最新版本的ray镜像(ray2.54.0,python3.12)。

  3. 创建完毕后,可以进入这个ray cluster计算组,可以看到图中已经显示出了这个Ray集群内网的连接地址(见下图绿框,我们这里得到了**10.0.158.20:10001**,记住这个地址)。

步骤三:创建LAS开发机

  1. 登录 EMR 控制台,选择创建开发机。

  2. 在开发机的创建配置页面,注意以下要点:

    1. 资源配置-队列,选择步骤一创建的资源队列

    2. 环境信息-镜像,选择和步骤二使用的完全相同的镜像(Ray2.54.0, python3.12)

    3. 网络信息-SSH网络模式,选择独占网络

    4. 网络信息-高级网络配置,选择和步骤一完全相同的VPC配置

    5. 访问配置中,设置好对应的访问端口。以下图中为例,专门设定好了Jupyter服务,监听端口和调用端口都是8888

步骤四:在 LAS 开发机器上安装并启动 jupyter notebook

  1. 获取登录指令,登录 LAS 开发机;以下图中为例,LAS开发机的IP地址为**180.184.70.108,记住这个IP**

  2. 安装并启动 jupyter nootbook

    python -m pip install notebook
    jupyter notebook --version
    
    jupyter notebook \
      --no-browser \
      --ip=0.0.0.0 \
      --port=8888 \
      --allow-root
    

步骤五:使用 jupyter notebook 连接 Ray 集群

  1. 访问 http://180.184.70.108:8888,这是步骤四中创建的 jupyter 服务。

  2. 在 jupyter notebook 中,使用ray.init连接 Ray 集群,本示范中,使用了 ray://10.0.158.20:10001 这个地址,该地址来源于步骤二创建的raycluster出现的地址。

  3. 向Ray集群提交测试任务,测试成功。

最近更新时间:2026.08.27 18:09:26
这个页面对您有帮助吗?
有用
有用
无用
无用