E-MapReduce
E-MapReduce
- 文档首页
E-MapReduceEMR with AgentEMR AI 助手智能诊断
复制全文
下载 pdf
文档反馈
问问助手EMR AI 助手能够自动聚合分析分散在各组件的日志、配置与监控指标。当发生状态异常或操作失败时，它可以快速定位根因，并生成一份包含问题描述、原因分析、影响范围和可执行修复方案的结构化诊断报告，帮助您显著缩短故障排查时间，提升集群健康度。
本文主要介绍如何使用 AI 助手对资源、服务、作业等进行智能诊断与优化。
EMR AI 助手支持对 EMR on ECS 集群、EMR on VKE、 Serverless 和 Serverless OLAP 实例进行一键式健康巡检，分析资源瓶颈并提供针对性的资源调优方案。
说明
如需快速判断 Serverless 队列的可用性、资源压力和作业运行情况，请参见：EMR Agent 队列诊断。
发起资源诊断
在不同产品形态的概览页面，您可以通过单击右侧 操作 列下的 AI 诊断 按钮发起诊断。
AI 助手将自动采集集群的日志、监控指标、配置等信息，并从异常洞察、计费与存储分析、健康评估等多个维度生成智能报告，帮助您全面掌握集群状态。
除了对集群整体资源进行诊断，您还可以深入到集群内部，对具体的核心服务进行健康检查。
发起服务诊断
- 进入集群的 服务列表 页面。
- 找到您希望诊断的服务，如 HDFS、YARN、Hive、Spark、Celeborn 等，单击其右侧 操作 列下的 AI 诊断 按钮发起诊断。
AI 助手会结合服务的数十种关键指标和上下文信息，生成深度分析报告，并提供参数调优建议，辅助您进行服务层面的运维决策。
EMR AI 助手能够对 Serverless Spark 等作业进行深度诊断，精准分析问题根因并提供优化建议。
发起作业诊断
登录 EMR 控制台，从左侧导航栏进入 作业中心 > 作业实例。
在作业实例列表中，找到目标作业，单击其右侧 操作 列下的 AI 诊断 按钮。
说明
支持对“已完成”、“运行中”、“已失败”或“已终止”的作业进行诊断。
AI 助手会采集作业相关的上下文信息（如日志、配置、Metrics 等）进行分析。该过程通常需要 1 分钟左右。在诊断过程中，如果当前诊断任务页面关闭，诊断任务不会中断，您可以在历史诊断任务中查看到诊断任务的进度与结果。
作业诊断示例
序号 | 问题 | 问题表现 | Agent诊断 |
|---|---|---|---|
1 | 作业超过限制阈值事件 | 用户上行带宽、下行带宽、上传QPS、下载QPS超过限制阈值事件等 | EMR AI 助手可获取更丰富的上下文，包括：
|
2 | OOM等 | 数据倾斜、分区数据过大等引起OOM等 | EMR AI 助手可推荐更准确的优化参数，例如：
|
3 | 读写 Iceberg 表并发冲突 | 作业因 Iceberg 表 |
|
4 | TOS 限流导致性能下降 | 作业成功完成，但性能受限于 TOS 下行带宽配额，导致处理大规模 Shuffle 数据（总量超过 5 TB）时，I/O 成为瓶颈，整体运行时间较长。 |
|
监控系统触发告警时，EMR AI 助手可以对告警事件进行深度分析，帮助您快速定位根本原因并获取解决方案。更多信息请参阅：EMR Agent AI 告警诊断。
在 AI 助手页面，单击右上角的 历史会话，即可查看和回溯之前所有的诊断记录。
诊断完成后，您可以在页面右侧查看详细的诊断报告，内容包括根因总结、优化建议、深度分析等。
如果希望保存报告结果，可单击右上角的复制或下载按钮进行保存。
您还可以在下方的对话框中进行追问，或通过“解析信息源”追溯结论依据。
您可以在每次诊断后对结果进行评价，您的反馈将帮助我们持续改进。