本文为您介绍系统元数据视图( Information Schema )详细字段说明。
入口一:登录 LAS 控制台,打开emr_system_catalog> default数据库,即可查看系统视图。
入口二:登录 EMR Serverless 控制台,在左侧导航栏点击 Serverless > 具体队列>右上角 SQL 编辑器,进入 SQL 编辑器 页面,点击左上角 Information Schema,跳转emr_system_catalog> default数据库,即可查看系统视图。
表名称 | 说明 | 视图类型 | 更新说明 |
|---|---|---|---|
| 历史作业运行信息 | 作业历史 | 每天 7:00 更新 T-1 数据 |
| 队列资源使用快照信息,时间切片 30s | 队列资源 | 每天 7:00 更新 T-1 数据 |
| 计算组资源使用快照信息,时间切片 30s | 计算组资源 | 每天 7:00 更新 T-1 数据 |
emr_job_history 记录历史作业运行明细,适合用于查询租户内作业历史、作业耗时、资源消耗、失败任务、SQL 来源以及提交渠道等信息。该表按 date 分区。
字段 | 类型 | 说明 |
|---|---|---|
| STRING | 任务 ID。 |
| STRING | 任务名称。 |
| STRING | 提交用户 ID 或 AK。 |
| STRING | 队列名。 |
| STRING | 任务状态。 |
| STRING | 引擎类型。 |
| STRING | 任务开始时间。 |
| STRING | 任务结束时间。 |
| BIGINT | 任务耗时,单位为秒。 |
| DOUBLE | 任务总 CU 时,1 CU = 1 Core / 4 GiB。 |
| STRING | 执行的 SQL。 |
| STRING | 提交来源,例如 JDBC、SDK、DataLeap、Console、DataWind 等。 |
| STRING | Driver CPU 峰值百分比。 |
| STRING | Executor CPU 峰值百分比。 |
| STRING | Driver 内存峰值百分比。 |
| STRING | Executor 内存峰值百分比。 |
| STRING | 优先级。 |
| STRING | 作业参数。 |
| STRING | 查询行数。 |
| STRING | DataLeap 实例 ID。 |
| STRING | 读行数。 |
| STRING | Shuffle 量。 |
| STRING | 地域。 |
| STRING | 日期分区字段,建议按业务日期过滤。 |
emr_resource_queue 记录队列维度的资源指标快照,适合用于分析队列 CU、CPU、内存分配与使用情况,以及运行中、排队中、成功和失败作业数量。该表按 date 分区。
字段 | 类型 | 说明 |
|---|---|---|
| STRING | 时间戳。 |
| STRING | 队列 ID。 |
| STRING | 队列名称。 |
| DOUBLE | CU 总量,表示队列 Capacity。 |
| DOUBLE | CU 分配量。 |
| DOUBLE | CU 分配率。 |
| DOUBLE | CPU 总量。 |
| DOUBLE | CPU 分配量。 |
| DOUBLE | CPU 分配率。 |
| DOUBLE | 内存总量,单位 MB。 |
| DOUBLE | 内存分配量,单位 MB。 |
| DOUBLE | 内存分配率。 |
| DOUBLE | CPU 使用量。 |
| DOUBLE | CPU 使用率。 |
| DOUBLE | 内存使用量,单位 MB。 |
| DOUBLE | 内存使用率。 |
| BIGINT | 作业总数。 |
| BIGINT | 运行中作业数。 |
| BIGINT | 排队中作业数。 |
| BIGINT | 运行成功作业数。 |
| BIGINT | 运行失败作业数。 |
| DOUBLE | Shuffle Write 总量。 |
| STRING | 日期分区字段。 |
emr_resource_compute_group 记录计算组维度的资源指标快照,适合用于观察 common 或 spark 类型计算组的资源使用状态。指标明细以 JSON 字符串存储在 metrics_json 字段中。该表按 date 分区。
字段 | 类型 | 说明 |
|---|---|---|
| STRING | 时间戳。 |
| STRING | 资源 ID。 |
| STRING | 队列名称。 |
| STRING | 计算组 ID。 |
| STRING | 计算组名称。 |
| STRING | 计算组类型,取值示例为 |
| STRING | 指标数据,JSON 格式。 |
| STRING | 日期分区字段。 |