本文为您介绍如何在 LAS 开发机上安装 jupyter notebook 并连接 EMR Serverless 的 Ray 集群,提交作业的核心操作步骤。
术语 | 说明 |
|---|---|
EMR Serverless & Ray | EMR Serverless 是火山引擎提供的全托管大数据平台,支持 Ray 等计算引擎。您无需关心底层 Kubernetes 集群的搭建和维护,只需通过控制台或 SDK 提交作业,平台会自动为您分配和回收计算资源,实现真正的 “开箱即用” 和 “按需付费。 |
LAS & 开发机 | LAS 是火山引擎提供的 AI 数据湖服务,LAS 开发机是为算法开发者量身打造的专业开发环境,具备高效便捷的特性,开发者可借助其快速开启数据处理任务的编写、调试及运行流程。 |
在开始之前,请确保已经完成以下准备工作:
资源队列是一个计算资源池,所有作业都运行在队列中。您需要先创建一个队列
登录 EMR 控制台,在左侧导航栏选择 Serverless > 队列管理。
点击 创建队列,选择独占队列。独占队列提供固定资源保障,并支持创建Ray 专用计算组,实现负载隔离与资源预留。创建时注意配置的VPC信息,后面我们创建LAS开发机的时候,需要配置完全相同的VPC,实现网络连接互通。
配置完成后,确认并创建队列。
计算组是执行作业的 “计算单元”,我们在这一步创建常驻的Ray Cluster。
在队列详情页面,选择 计算组 页签。
点击 创建计算组,选择Ray Cluster,配置好核心参数。注意这里选择最新版本的ray镜像(ray2.54.0,python3.12)。
创建完毕后,可以进入这个ray cluster计算组,可以看到图中已经显示出了这个Ray集群内网的连接地址(见下图绿框,我们这里得到了**10.0.158.20:10001**,记住这个地址)。
登录 EMR 控制台,选择创建开发机。
在开发机的创建配置页面,注意以下要点:
资源配置-队列,选择步骤一创建的资源队列
环境信息-镜像,选择和步骤二使用的完全相同的镜像(Ray2.54.0, python3.12)
网络信息-SSH网络模式,选择独占网络
网络信息-高级网络配置,选择和步骤一完全相同的VPC配置
访问配置中,设置好对应的访问端口。以下图中为例,专门设定好了Jupyter服务,监听端口和调用端口都是8888
获取登录指令,登录 LAS 开发机;以下图中为例,LAS开发机的IP地址为**180.184.70.108,记住这个IP**
安装并启动 jupyter nootbook
python -m pip install notebook jupyter notebook --version jupyter notebook \ --no-browser \ --ip=0.0.0.0 \ --port=8888 \ --allow-root
访问 http://180.184.70.108:8888,这是步骤四中创建的 jupyter 服务。
在 jupyter notebook 中,使用ray.init连接 Ray 集群,本示范中,使用了 ray://10.0.158.20:10001 这个地址,该地址来源于步骤二创建的raycluster出现的地址。
向Ray集群提交测试任务,测试成功。