You need to enable JavaScript to run this app.
文档中心
E-MapReduce

E-MapReduce

请输入
  • 文档首页
    • E-MapReduce作业提交与管理创建并提交作业
复制全文
下载 pdf
我的收藏
作业提交与管理
创建并提交作业
复制全文
下载 pdf
我的收藏
创建并提交作业

本文为您介绍如何通过控制台为 EMR on ECS 集群创建并提交 Spark 作业，EMR on ECS 集群支持PySpark、SparkJar 和 SparkSQL 作业。

背景信息

作业（Job）：作业是一个完整的数据计算任务，当用户需要在 EMR on ECS 集群中提交一个数据计算任务时，可在 EMR 中提交作业，作业提交后，系统使用集群计算资源执行作业。

前提条件

已有可用的 EMR on ECS 集群，且集群开启了 Spark 服务，创建集群详细操作请参见创建集群。

使用限制

EMR on ECS 集群支持的 Spark 作业类型：

作业类型

说明

是否支持控制台提交

是否支持命令行提交

PySpark

用 Python 语言编写的 Spark 作业，通过提交 .py 脚本运行，适合数据处理、机器学习等场景。

✅

✅（spark-submit 提交）

Spark JAR

使用 Java 或 Scala 语言编写并打包为 .jar 文件的 Spark 作业，适合对性能要求较高或已有 JVM 体系的场景。

✅

✅（spark-submit 提交）

Spark SQL

使用 SQL 编写的 Spark 作业，通过 Spark 的 SQL 引擎执行，适合数据查询、报表统计等场景。

✅

✅

Spark R

使用 R 语言编写的 Spark 作业（基于 SparkR），适合统计分析、数据科学场景

❌

✅（spark-submit 提交）

创建并提交作业：通过控制台

您可在 EMR 控制台的 **作业中心 **> **作业管理 **或 作业实例，点击右上角 **创建作业 **创建作业，操作入口如下；通过控制台创建作业的操作详情可参见：作业中心，EMR on ECS 实际作业操作详情以界面为准。
Image

创建并提交作业：通过命令行

创建作业入口

从 EMR 控制台登录 master 节点：

  1. 登录 EMR 控制台EMR 控制台，在左侧导航栏中，选择资源管理> on ECS ，点击创建的集群名称进入集群详情页面，​点击左侧服务列表> Spark >展开 Spark Client，点击 master 节点的 ID，跳转到 master 节点的详细信息页面。
    Image
  2. 点击 master 节点的详细信息页面右上角远程连接，在弹窗中选择立即登录 ECS Terminal，进入远程登录页面，输入用户名和密码，登录节点终端，详细操作请参见通过控制台登录Linux实例。
    Image

提交作业

通过命令行方式提交 Spark 作业。
本文以开启了 Spark 自带的 Spark examples 为例，在命令行直接提交此作业即可。

说明

  • 示例资源spark-examples_<Versino>.jar为集群自带，具体文件名因 Spark 版本而异。您可登录集群节点后，执行find / -name "spark-examples*.jar" 2>/dev/null命令查看当前集群中的实际 JAR 包名称和路径。Spark 更多操作请参见 Spark-快速开始。
  • 若集群开启了 Kerberos，请参见使用 Kerberos 认证集群，完成用户认证，才能运行作业。

以 Spark 3.5.1版本为例，在终端命令行提交：

spark-submit --class org.apache.spark.examples.SparkPi --master yarn --num-executors 3 --driver-memory 512m --executor-memory 512m --executor-cores 1 /opt/emr/current/spark3/examples/jars/spark-examples_2.12-3.5.1.jar

重要任务参数说明如下：

参数

样例

备注

class

org.apache.spark.examples.SparkPi

程序入口类

master

yarn

程序执行模式，可选yarn，yarn-client

num-executors

3

并行executor个数

driver-memory

512m

driver程序使用的内容，最大不可超过该节点的总内存资源

executor-memory

512m

单个executor使用的内存大小，最大不可超过该节点的总内存资源

executor-cores

1

单个executor的并行数

查看作业运行结果

作业执行后，在作业中心>作业实例页面中：

  1. 选择资源类型> EMR on ECS。
  2. 选择**资源名称>**选择集群名称。

即可查看提交到集群的作业实例列表与实例详情（包含作业ID/名称、状态、类型、日志/诊断入口等信息），并可联动跳转到对应作业详情页面完成排障与追溯，详情请参见查看并管理作业实例。
Image

最近更新时间：2026.09.16 19:43:08
这个页面对您有帮助吗？
有用
有用
无用
无用