You need to enable JavaScript to run this app.
文档中心
AI 数据湖服务

AI 数据湖服务

复制全文
下载 pdf
应用实践
LAS 开发机提交 RayJob 作业
复制全文
下载 pdf
LAS 开发机提交 RayJob 作业

本文为您介绍如何在 LAS 开发机上安装 jupyter notebook 并连接 EMR Serverless 的 Ray 集群,提交作业的核心操作步骤。

背景信息

术语

说明

EMR Serverless & Ray

EMR Serverless 是火山引擎提供的全托管大数据平台,支持 Ray 等计算引擎。您无需关心底层 Kubernetes 集群的搭建和维护,只需通过控制台或 SDK 提交作业,平台会自动为您分配和回收计算资源,实现真正的 “开箱即用” 和 “按需付费。

LAS & 开发机

LAS 是火山引擎提供的 AI 数据湖服务,LAS 开发机是为算法开发者量身打造的专业开发环境,具备高效便捷的特性,开发者可借助其快速开启数据处理任务的编写、调试及运行流程。

前提条件

在开始之前,请确保已经完成以下准备工作:

  1. 火山引擎账号:已完成账号注册和实名认证。
  2. 开通服务:已开通 EMR Serverless 服务 和 LAS AI数据湖服务。

操作步骤

步骤一:创建资源队列(Queue)

资源队列是一个计算资源池,所有作业都运行在队列中。您需要先创建一个队列

  1. 登录 ,在左侧导航栏选择 Serverless > 队列管理
  2. 点击 创建队列,选择独占队列。独占队列提供固定资源保障,并支持创建Ray 专用计算组,实现负载隔离与资源预留。创建时注意配置的VPC信息,后面我们创建LAS开发机的时候,需要配置完全相同的VPC,实现网络连接互通。
  3. 配置完成后,确认并创建队列。

步骤二:创建计算组(Compute Group)

计算组是执行作业的 “计算单元”,我们在这一步创建常驻的Ray Cluster。

  1. 在队列详情页面,选择 计算组 页签。
  2. 点击 创建计算组,选择Ray Cluster,配置好核心参数。注意这里选择最新版本的ray镜像(ray2.54.0,python3.12)。
  3. 创建完毕后,可以进入这个ray cluster计算组,可以看到图中已经显示出了这个Ray集群内网的连接地址(见下图绿框,我们这里得到了**10.0.158.20:10001**,记住这个地址)。

步骤三:创建LAS开发机

  1. 登录 ,选择创建开发机。
  2. 在开发机的创建配置页面,注意以下要点:
    1. 资源配置-队列,选择步骤一创建的资源队列
    2. 环境信息-镜像,选择和步骤二使用的完全相同的镜像(Ray2.54.0, python3.12)
    3. 网络信息-SSH网络模式,选择独占网络
    4. 网络信息-高级网络配置,选择和步骤一完全相同的VPC配置
    5. 访问配置中,设置好对应的访问端口。以下图中为例,专门设定好了Jupyter服务,监听端口和调用端口都是8888

步骤四:在 LAS 开发机器上安装并启动 jupyter notebook

  1. 获取登录指令,登录 LAS 开发机;以下图中为例,LAS开发机的IP地址为**180.184.70.108,记住这个IP**

  2. 安装并启动 jupyter nootbook

    python -m pip install notebook
    jupyter notebook --version
    
    jupyter notebook \
      --no-browser \
      --ip=0.0.0.0 \
      --port=8888 \
      --allow-root
    

步骤五:使用 jupyter notebook 连接 Ray 集群

  1. 访问 http://180.184.70.108:8888,这是步骤四中创建的 jupyter 服务。

  2. 在 jupyter notebook 中,使用ray.init连接 Ray 集群,本示范中,使用了 ray://10.0.158.20:10001 这个地址,该地址来源于步骤二创建的raycluster出现的地址。

  3. 向Ray集群提交测试任务,测试成功。

最近更新时间:2026.08.27 18:10:15
这个页面对您有帮助吗?
有用
有用
无用
无用