本文为您介绍如何在 LAS 开发机上安装 jupyter notebook 并连接 EMR Serverless 的 Ray 集群,提交作业的核心操作步骤。
术语 | 说明 |
|---|---|
EMR Serverless & Ray | EMR Serverless 是火山引擎提供的全托管大数据平台,支持 Ray 等计算引擎。您无需关心底层 Kubernetes 集群的搭建和维护,只需通过控制台或 SDK 提交作业,平台会自动为您分配和回收计算资源,实现真正的 “开箱即用” 和 “按需付费。 |
LAS & 开发机 | LAS 是火山引擎提供的 AI 数据湖服务,LAS 开发机是为算法开发者量身打造的专业开发环境,具备高效便捷的特性,开发者可借助其快速开启数据处理任务的编写、调试及运行流程。 |
在开始之前,请确保已经完成以下准备工作:
资源队列是一个计算资源池,所有作业都运行在队列中。您需要先创建一个队列
计算组是执行作业的 “计算单元”,我们在这一步创建常驻的Ray Cluster。
10.0.158.20:10001**,记住这个地址)。获取登录指令,登录 LAS 开发机;以下图中为例,LAS开发机的IP地址为**180.184.70.108,记住这个IP**
安装并启动 jupyter nootbook
python -m pip install notebook jupyter notebook --version jupyter notebook \ --no-browser \ --ip=0.0.0.0 \ --port=8888 \ --allow-root
访问 http://180.184.70.108:8888,这是步骤四中创建的 jupyter 服务。
在 jupyter notebook 中,使用ray.init连接 Ray 集群,本示范中,使用了 ray://10.0.158.20:10001 这个地址,该地址来源于步骤二创建的raycluster出现的地址。
向Ray集群提交测试任务,测试成功。