You need to enable JavaScript to run this app.
文档中心
E-MapReduce

E-MapReduce

复制全文
下载 pdf
EMR Serverless 队列最佳实践
EMR Serverless 作业事件监控配置实践
复制全文
下载 pdf
EMR Serverless 作业事件监控配置实践

EMR Serverless 支持将作业实例的执行结果自动投递至云监控事件中心。用户可通过配置事件规则,针对特定队列、作业类型或执行结果设置告警通知策略,实现作业异常实时感知与自动化运维。
本文介绍 EMR Serverless 作业云监控事件的详细配置步骤及相关事件参数说明。

准备工作

  • 服务与实例:已开通 EMR Serverless 服务,并在控制台成功创建并运行作业,具体操作,请参见:作业中心。
  • 账号权限:当前登录的火山引擎账号具备云监控的读写与事件规则配置权限,具体操作,请参见:为 IAM 用户授权。
  • 通知渠道准备(可选):如需接收飞书群消息、邮件或 Webhook 推送,需预先在云监控控制台创建好对应的通知对象(如飞书自定义机器人)与通知策略,具体操作,请参见:创建通知策略。

配置事件规则

  1. 登录 火山引擎控制台。

  2. 在左侧导航栏或搜索框中进入 云监控。

  3. 在左侧导航栏点击 云监控 > 事件中心 > 事件规则。

  4. 单击左上角的 创建事件规则。

  5. 在创建事件规则页面,填写基本信息与触发规则。

    参数

    说明

    名称

    自定义规则名称,如 emr-serverless-job-failed-alert,作为唯一标识,不允许重名。

    资源类型

    下拉选择 E-MapReduce-Serverless。

    事件名称

    根据需求勾选监控项,如 作业实例运行失败、作业实例运行取消,​或选择 全部。E-MapReduce-Serverless 支持以下监控项:

    • 作业实例运行成功:作业实例所有阶段正常执行完毕并成功退出。
    • 作业实例运行失败:作业在分析、调度或运行阶段发生异常报错并退出。
    • 作业实例运行取消:作业被用户主动中止、调度系统取消或超时熔断取消。

    说明:

    • 当前事件仅覆盖终态,提交、初始化、运行中等中间过程状态不会产生事件。
    • 一次作业执行对应一个全局唯一的作业实例 ID;同一作业若配置了重试机制,每次重试将产生独立的实例与事件。

    严重程度

    按业务影响选择对应级别,如 严重 或 警告。

    事件详情匹配

    若仅需对特定条件的作业进行告警,单击 + 添加,在左侧输入键名(Key)、右侧输入匹配值(Value),支持针对 data 内的具体字段进行过滤:

    • 按队列过滤示例:
      • Key:data.queue
      • Value:production-etl
    • 按引擎类型过滤示例:
      • Key:data.engineType
      • Value:SparkSQL

    通知策略

    下拉选择预先配置的通知策略。

  6. 单击 确定 完成规则创建。

  7. 在事件规则列表中确认该规则的状态为 已启用。后续您可以根据实际需求管理事件规则的状态。具体操作,请参见 管理事件规则。

查看事件记录

  1. 进入 云监控 > 事件中心 > 云产品事件。

  2. 设置需要查询的时间范围,事件源选择 E-MapReduce-Serverless,如果已知作业实例 ID,可以在资源 ID 搜索框中输入具体的作业实例 ID 精准定位。

  3. 在查询结果列表中,单击目标事件右侧的 详情,可查看该事件完整的 CloudEvents JSON Payload。
    Image

    业务字段说明:

    字段

    说明

    data.jobInstanceId

    本次执行的作业实例 ID。

    data.jobId

    控制台作业 ID,无关联作业模板时返回空字符串 ""。

    data.taskName

    作业实例名称。

    data.queue

    作业所属资源队列名称。

    data.status

    本次事件的目标终态,包含如下枚举值:

    • Success:作业执行成功。
    • Failed:作业执行失败,包括分析阶段失败。
    • Cancelled:作业已取消。

    data.previousStatus

    终态前任务状态,包含如下枚举值:

    • Submitted:作业已提交,处于创建、分析完成、分发、调度、排队或资源匹配阶段。
    • Initializing:作业正在提交或初始化运行资源。
    • Running:作业正在运行。
    • Success:作业执行成功。
    • Failed:作业执行失败,包括分析阶段失败。
    • Cancelled:作业执行已取消。
    • "":原状态缺失或无法映射时返回空字符串。

    data.engineType

    归一化计算引擎类型,可能输出的值包括:

    • SparkSQL:Spark SQL 作业。
    • SparkJar:Spark JAR 作业。
    • SparkConnect:通过 Spark Connect 执行的作业。
    • PySpark:PySpark 作业。
    • PrestoSQL:Presto SQL 作业。
    • RayJob:Ray 作业。
    • DaftJob:Daft 作业。
    • CustomJob:自定义作业。
    • HiveSQL:Hive SQL 作业。
    • MR:MapReduce 作业。
    • SQL:默认 SQL 类型(原始引擎类型缺失或未被识别时也返回此值)。

    data.accountId

    作业所属的火山引擎主账号 ID。

    data.userId

    提交作业的 IAM 用户 ID,缺失时为 ""。

    data.userName

    提交作业的用户名称。

    data.region

    作业运行地域标识。

    data.startTime

    任务开始时间,采用 ISO 8601 格式,Z 表示 UTC;缺失时为空字符串。

    data.endTime

    作业结束退出时间,采用 ISO 8601 格式,Z 表示 UTC。

    data.trackingUrl

    作业跟踪页面链接;获取不到时为空字符串。

    详情示例:

    {
      "specversion": "1.0",
      "id": "6ac47c5d-7d1b-42ea-8a2e-20a2xxxxxx",
      "source": "emr_serverless",
      "type": "emr_serverless:JobInstance:jobInstanceRunFailed",
      "volcpublishtime": "2026-10-13T17:20:37+08:00",
      "volcregion": "cn-beijing",
      "volcaccountid": "2100075559",
      "volceventbusname": "default",
      "volcresourcename": "daily-sales-etl",
      "resourceid": "506838728",
      "subject": "trn:emr_serverless:cn-beijing:2100075559:jobInstance/506838728",
      "datacontenttype": "application/json; charset=utf-8",
      "time": "2026-10-13T09:20:37.812Z",
      "data": {
        "jobInstanceId": "506838728",
        "jobId": "job-xxxxxx",
        "taskName": "daily-sales-etl",
        "queue": "production-etl",
        "status": "Failed",
        "previousStatus": "Running",
        "engineType": "SparkSQL",
        "accountId": "2100075559",
        "userId": "337000xxxx",
        "userName": "operator_user",
        "region": "cn-beijing",
        "startTime": "2026-10-13T09:16:32Z",
        "endTime": "2026-10-13T09:20:37Z",
        "trackingUrl": "https://emr-serverless.volcengine.com/..."
      }
    }
    
最近更新时间:2026.10.19 18:39:26
这个页面对您有帮助吗?
有用
有用
无用
无用