- 文档首页
消息队列 RocketMQ版
用户指南
监控告警
推荐设置的告警规则
推荐设置的告警规则
消息队列 RocketMQ版支持配置云监控告警规则,帮助您实时关注实例的运行状态。本文档介绍典型场景下的告警规则配置示例,建议参考这些推荐的告警策略,配置监控指标的告警规则。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 如果是短暂的流量高峰,建议持续观察业务运行状态和资源水位。
- 如果实例的 TPS 使用率超过 85%,建议及时升级实例规格。操作步骤请参考升级实例规格。处理后建议持续观测该指标,确认是否达到了预期效果。
说明
仅 5.x 版本实例支持“发送或订阅限流数大于 0”告警规则。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 如果是短暂的流量高峰,建议持续观察业务运行状态和资源水位。
- 如果持续的出现限流次数大于 0,则进行规格升配或修改 TPS 占比,处理后建议持续观测该指标,确认是否达到了预期效果。相关文档,请参考升级实例规格和修改实例 TPS 比例。
说明
仅 5.x 版本实例支持“生产或订阅 TPS 百分比超过 85%”告警规则。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 如果是短暂的流量高峰,建议持续观察业务运行状态和资源水位。
- 如果持续的出现生产或订阅 TPS 百分比大于 85%,则进行规格升配或修改 TPS 占比,处理后建议持续观测该指标,确认是否达到了预期效果。相关文档,请参考升级实例规格和修改实例 TPS 比例。
说明
仅 5.x 版本支持“折算后-消息生产或消费速率超过 85%”告警规则。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 如果是短暂的流量高峰,建议持续观察业务运行状态和资源水位。
- 如果持续的出现(折算后)消息生产或消费速率大于 85%,则进行规格升配或修改 TPS 占比,处理后建议持续观测该指标,确认是否达到了预期效果。相关文档,请参考升级实例规格和修改实例 TPS 比例。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 触发告警后,建议及时扩容实例磁盘。为了避免实例磁盘超限,建议及时扩容实例磁盘,增加存储空间。操作步骤请参考升级实例规格。处理后建议持续观测该指标,确认是否达到了预期效果。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 如果是短暂的业务高峰,建议持续观察业务运行状态和资源水位。
- 检查实例是否已达到当前计算规格的各个阈值,例如 TPS 等。如果任意一项规格限制达到了计算规格的最大限制,则推荐升级实例规格,以便提高实例的各项处理性能。操作步骤请参考升级实例规格。处理后建议持续观测该指标,确认是否达到了预期效果。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 如果是短暂的业务高峰,建议持续观察业务运行状态和资源水位。
- 检查实例是否已达到当前计算规格的各个阈值,例如 TPS 等。如果任意一项规格限制达到了计算规格的最大限制,则推荐升级实例规格,以便提高实例的各项处理性能。操作步骤请参考升级实例规格。处理后建议持续观测该指标,确认是否达到了预期效果。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 触发告警后,您可以通过以下方式处理。处理后建议持续观测该指标,确认是否达到了预期效果。
- 合理设置连接数。触发告警后,建议根据业务需求合理设置 IP 连接数,清理空闲状态的连接。
- 升级实例规格。如果连接数持续过高,建议升级实例规格,提高连接数的上限,以免业务高峰时的处理速度受连接数限制,影响生产或消费性能。操作步骤请参考升级实例规格。
- 处理后建议持续观测该指标,确认是否达到了预期效果。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 触发告警后,您可以通过以下方式处理。处理后建议持续观测该指标,确认是否达到了预期效果。
- 清理闲置资源。检查是否存在未使用的闲置 Topic,如果有,建议及时清理。
- 如果实例规格低于 medium,为了避免业务高峰时 Topic 数量不足影响实例的业务处理速度,建议提前升级实例规格,预留足够的 Topic 数量。操作步骤请参考升级实例规格。操作步骤请参考升级实例规格。
- 如果规格已经是 medium,且后续预计会有大量 Topic 接入,建议及时申请一个新的实例。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 触发告警后,您可以通过以下方式处理。处理后建议持续观测该指标,确认是否达到了预期效果。
- 清理闲置资源。检查是否存在未使用的闲置 Group,如果有,建议及时清理。
- 如果实例规格低于 medium,为了避免业务高峰时 Group 数量不足影响实例的业务处理速度,建议提前升级实例规格,预留足够的 Group 数量。操作步骤请参考升级实例规格。
- 如果规格已经是 medium,且后续预计会有大量 Group 接入,建议及时申请一个新的实例。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 触发告警后,您可以通过以下方式处理。处理后建议持续观测该指标,确认是否达到了预期效果。
- 清理闲置资源。检查是否存在未使用的闲置 Topic,如果有,建议及时清理。清理 Topic 后会空余出部分队列资源。
- 如果清理后仍旧触发此告警,则考虑升级实例规格。 为了避免业务高峰时队列数量不足影响实例的业务处理速度,建议提前升级实例规格,预留足够的队列数量。操作步骤请参考升级实例规格。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 如果实例规格低于 medium,建议升级实例的计算规格,提高连接数上限。操作步骤请参考升级实例规格。
- 如果规格已经是 medium,且后续预计还会创建大量连接,建议及时申请一个新的实例,或复用连接。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 如果触发告警,表示实例生产请求的 P99 耗时较高,可以参考实例的生产流量速率判断:
- 如果业务流量大,接近实例计算规格对应的读写能力上限,建议及时升级实例规格,提高业务流量支撑能力。
- 如果业务流量不大,建议排查业务发送的消息体大小,判断是否因消息体过大等其他因素导致生产请求的 P99 耗时较高。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 如果触发告警,表示数据在各个节点磁盘上分布不均衡,部分节点磁盘使用率明显高于其他节点磁盘。建议通过以下方式处理:
- 如果业务场景造成短暂的磁盘倾斜,建议暂不处理,持续观察业务运行状态和资源水位。
- 如果此实例为升配不久的实例,建议持续观察,升配实例后可能有新的数据节点加入实例,此时磁盘倾斜为正常现象。
- 如果磁盘倾斜率持续处于高位,建议观察并评估业务的数据写入逻辑是否合理,并尽量均衡写入数据到各个节点。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 如果触发告警,表示各个节点的队列数量差异较大,部分节点的队列数量明显高于其他节点。在生产环境中,应保证队列数在各个节点中数量均衡,如果存在不均衡的情况,可能导致数据流量同样不均衡,影响业务读写的效率。
- 触发告警之后,建议找到队列数量较少的 Topic,通过设置队列数功能提高队列数量,并保证队列数是节点数量的整数倍,例如规格 rocketmq.n3.x2.medium 的计算节点数为 3,队列数建议设置为 3 的倍数,即 3、6、9 等。调整队列数量的操作步骤请参考设置 Topic 队列数。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 如果触发告警,表示部分节点消息生产速率明显高于其他节点。通常情况下,业务生产的消息通过轮询的方式发送到各个节点,所以各节点的生产速率都是均衡的。如果出现不均衡的情况,建议观察是否有顺序消息的情况,导致消息生产速率不均,并尽快调整业务消息发送逻辑,尽量保证流量均衡。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 如果触发告警,表示部分节点消息消费速率明显高于其他节点。通常情况下,各节点的消费速率都是均衡的,如果出现不均衡的情况,建议观察是否有顺序消息的情况,导致消息消费速率不均。
- 在顺序消费场景,建议确认业务消息消费的逻辑,尽量保证流量均衡。
- 其他场景下,建议观察业务的各个消费者是否均可正常消费,是否存在部分消费端消费失败、消费性能下降的情况。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 触发告警后,您可以参考流量倾斜率指标,并通过以下方式处理告警。处理后建议持续观测该指标,确认是否达到了预期效果。
- 确认业务流量是否均衡,流量是否集中指向某个节点,导致磁盘使用率过高。如果是,则需要业务侧判断是否符合预期,如果不符合业务预期,建议调整下消息写入,尽量均衡流量。
- 如果流量基本不倾斜,触发告警后,为了避免实例磁盘超限,建议及时扩容实例磁盘,增加存储空间。操作步骤请参考升级实例规格。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 触发告警后,您可以通过以下方式处理告警。处理后建议持续观测该指标,确认是否达到了预期效果。
- 如果节点队列数快超过单节点上限,建议及时升配实例,提高实例队列数量的上限。
- 如果队列数在节点上分布不均衡,建议调整 Topic 的队列数量,保证每个 Topic 的队列数量均为实例节点数量的整数倍,从而保证队列数量在不同节点上都是均匀的。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 触发告警后,您可以通过以下方式处理告警。处理后建议持续观测该指标,确认是否达到了预期效果。
- 如果是短暂的业务高峰,建议持续观察业务运行状态和资源水位。
- 如果生产速率都持续较高,则建议升级实例规格,以提高实例的生产处理能力。
- 观察生产速率倾斜率指标,如果存在生产速率在各节点不均衡的情况,需要观察是否有顺序消息的情况,导致消息生产速率不均,并调整业务侧消息发送的逻辑,尽量保证流量均衡。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 触发告警后,您可以通过以下方式处理告警。处理后建议持续观测该指标,确认是否达到了预期效果。
- 如果是短暂的业务高峰,建议持续观察业务运行状态和资源水位。
- 如果消费速率持续较大,建议升级实例规格,以提高实例的生产消费处理能力。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 触发告警后,建议及时排查业务消费处理是否出现问题,导致消息消费失败。处理后建议持续观测该指标,确认是否达到了预期效果。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 触发告警后,您可以通过以下方式处理。处理后建议持续观测该指标,确认是否达到了预期效果。
- 重新投递死信消息,查看消息是否可以被正常消费。操作步骤请参考重新发送死信消息。
- 排查客户端消费失败的原因,避免后续再次出现消费失败的情况。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 触发告警后,您可以参考消费速率慢处理进行问题排查与处理。处理后建议持续观测该指标,确认是否达到了预期效果。
- 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。
- 触发告警后,您可以通过以下方式处理。处理后建议持续观测该指标,确认是否达到了预期效果。
- 如果消息堆积时间过长,典型原因为业务消费能力不足,建议业务侧提高消费速率。
- 如果业务消息消费不完,且确认未消费的消息可以丢弃,建议重置消费进度。重置的操作步骤请参考重置消费位点。
最近更新时间:2025.07.09 16:43:46