You need to enable JavaScript to run this app.
文档中心
E-MapReduce

E-MapReduce

复制全文
下载 pdf
系统元数据视图
系统元数据视图简介
复制全文
下载 pdf
系统元数据视图简介

功能简介

EMR Serverless 系统元数据视图( Information Schema )是面向 EMR Serverless 用户开放的系统元数据查询功能,该功能以 LAS Catalog 为访问入口,在用户侧初始化一个名为 emr_system_catalog 的 Catalog,并在其default 数据库下提供只读系统视图。
当前版本提供三类核心视图:

  • emr_job_history 用于查看历史作业运行明细,
  • emr_resource_queue 用于查看队列维度的资源使用快照,
  • emr_resource_compute_group 用于查看计算组维度的资源使用快照。资源类视图的时间切片为 30 秒,系统每天 7:00 更新 T-1 数据。

用户可以对系统视图执行标准 SQL 查询,以便查看历史作业运行信息、队列资源使用快照以及计算组资源使用快照,用于分析作业运行表现、资源水位、队列拥塞、计算组负载和租户内资源使用趋势。

使用限制
  • 当前系统元数据视图是白名单功能,如果您希望使用此功能,可提工单申请开通。

  • 系统元数据视图权限限制:

    限制

    说明

    只读访问

    系统视图仅支持查询,不允许写入、更新、删除或建表覆盖。

    权限限制

    系统视图授权在 LAS Catalog 权限管理中完成。用户需要获得对应 Catalog、Database、Table 的读取权限后才能查询。

注意事项

注意事项

说明

数据更新

系统视图每天 7:00 更新 T-1 数据。对当天实时状态有强依赖的场景,不建议将该视图作为实时监控唯一来源。

分区过滤

emr_job_historyemr_resource_queueemr_resource_compute_group 均包含 date 分区。
生产查询建议明确写出 date 分区过滤条件,避免全表扫描。

字段演进

后续版本可能新增字段。离线归档或同步系统视图数据时,建议明确字段,不建议使用 SELECT * 作为长期稳定的数据同步口径。

SQL 字段命名

字段采用蛇形命名,全小写字母、下划线分隔,例如 driver_cpu_peak_percent

使用流程
  1. 开通 系统元数据视图( Information Schema ),详细操作和权限要求请参见系统元数据视图简介
  2. 在 LAS Catalog 权限管理中,为目标用户、用户组或角色授予系统视图的查询权限。详细操作请参见 LAS Catalog 权限管理
  3. 用户通过 SQL 查询 emr_system_catalog.default 下的系统视图,并使用 date 过滤目标数据,获取作业运行和资源使用情况相关数据。系统视图详细说明请参见系统元数据视图说明说明,不同场景的使用示例请参见系统元数据视图使用示例
最近更新时间:2026.08.17 15:30:36
这个页面对您有帮助吗?
有用
有用
无用
无用