EMR Serverless 系统元数据视图( Information Schema )是面向 EMR Serverless 用户开放的系统元数据查询功能,该功能以 LAS Catalog 为访问入口,在用户侧初始化一个名为 emr_system_catalog 的 Catalog,并在其default 数据库下提供只读系统视图。
当前版本提供三类核心视图:
emr_job_history 用于查看历史作业运行明细,emr_resource_queue 用于查看队列维度的资源使用快照,emr_resource_compute_group 用于查看计算组维度的资源使用快照。资源类视图的时间切片为 30 秒,系统每天 7:00 更新 T-1 数据。用户可以对系统视图执行标准 SQL 查询,以便查看历史作业运行信息、队列资源使用快照以及计算组资源使用快照,用于分析作业运行表现、资源水位、队列拥塞、计算组负载和租户内资源使用趋势。
当前系统元数据视图是白名单功能,如果您希望使用此功能,可提工单申请开通。
系统元数据视图权限限制:
限制 | 说明 |
|---|---|
只读访问 | 系统视图仅支持查询,不允许写入、更新、删除或建表覆盖。 |
权限限制 | 系统视图授权在 LAS Catalog 权限管理中完成。用户需要获得对应 Catalog、Database、Table 的读取权限后才能查询。 |
注意事项 | 说明 |
|---|---|
数据更新 | 系统视图每天 7:00 更新 T-1 数据。对当天实时状态有强依赖的场景,不建议将该视图作为实时监控唯一来源。 |
分区过滤 |
|
字段演进 | 后续版本可能新增字段。离线归档或同步系统视图数据时,建议明确字段,不建议使用 |
SQL 字段命名 | 字段采用蛇形命名,全小写字母、下划线分隔,例如 |
emr_system_catalog.default 下的系统视图,并使用 date 过滤目标数据,获取作业运行和资源使用情况相关数据。系统视图详细说明请参见系统元数据视图说明说明,不同场景的使用示例请参见系统元数据视图使用示例。