You need to enable JavaScript to run this app.
文档中心
消息队列 RocketMQ版

消息队列 RocketMQ版

复制全文
下载 pdf
监控告警
推荐设置的告警规则
复制全文
下载 pdf
推荐设置的告警规则
消息队列 RocketMQ版支持配置云监控告警规则,帮助您实时关注实例的运行状态。本文档介绍典型场景下的告警规则配置示例,建议参考这些推荐的告警策略,配置监控指标的告警规则。​
实例维度​
实例 TPS 使用率超过85%​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    实例​
    触发条件​
    • 监控指标:实例TPS使用率​
    • 持续周期:持续3个周期​
    • 取值方式:最大值​
    • 比较方式:>​
    • 告警级别:警告​
    • 阈值:85%​
    ​
  • 处理建议​
  • 如果是短暂的流量高峰,建议持续观察业务运行状态和资源水位。​
  • 如果实例的 TPS 使用率超过 85%,建议及时升级实例规格。操作步骤请参考升级实例规格。处理后建议持续观测该指标,确认是否达到了预期效果。​
发送或订阅限流数大于 0​
说明​
仅 5.x 版本实例支持“发送或订阅限流数大于 0”告警规则。​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    实例​
    触发条件​
    • 监控指标:“发送限流数”或“订阅限流数”​
    • 持续周期:持续3个周期​
    • 取值方式:最大值​
    • 比较方式:>​
    • 告警级别:警告​
    • 阈值:0​
    ​
  • 处理建议​
  • 如果是短暂的流量高峰,建议持续观察业务运行状态和资源水位。​
  • 如果持续的出现限流次数大于 0,则进行规格升配或修改 TPS 占比,处理后建议持续观测该指标,确认是否达到了预期效果。相关文档,请参考升级实例规格和修改实例 TPS 比例。​
生产或订阅 TPS 百分比超过 85%​
说明​
仅 5.x 版本实例支持“生产或订阅 TPS 百分比超过 85%”告警规则。​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    实例​
    触发条件​
    • 监控指标:“生产TPS百分比”或“订阅TPS百分比”​
    • 持续周期:持续3个周期​
    • 取值方式:最大值​
    • 比较方式:>​
    • 告警级别:警告​
    • 阈值:85%​
    ​
  • 处理建议​
  • 如果是短暂的流量高峰,建议持续观察业务运行状态和资源水位。​
  • 如果持续的出现生产或订阅 TPS 百分比大于 85%,则进行规格升配或修改 TPS 占比,处理后建议持续观测该指标,确认是否达到了预期效果。相关文档,请参考升级实例规格和修改实例 TPS 比例。​
折算后-消息生产或消费速率超过 85%​
说明​
仅 5.x 版本支持“折算后-消息生产或消费速率超过 85%”告警规则。​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    实例​
    触发条件​
    • 监控指标:“消息生产速率(折算后)”或“消息消费速率(折算后)”​
    • 持续周期:持续3个周期​
    • 取值方式:最大值​
    • 比较方式:>​
    • 告警级别:警告​
    • 阈值:85%​
    ​
  • 处理建议​
  • 如果是短暂的流量高峰,建议持续观察业务运行状态和资源水位。​
  • 如果持续的出现(折算后)消息生产或消费速率大于 85%,则进行规格升配或修改 TPS 占比,处理后建议持续观测该指标,确认是否达到了预期效果。相关文档,请参考升级实例规格和修改实例 TPS 比例。​
实例磁盘容量使用率超过 75%​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    实例​
    触发条件​
    • 监控指标:实例磁盘使用率​
    • 持续周期:持续3个周期​
    • 取值方式:最大值​
    • 比较方式:>​
    • 告警级别:通知​
    • 阈值:75%​
    ​
  • 处理建议​
  • 触发告警后,建议及时扩容实例磁盘。为了避免实例磁盘超限,建议及时扩容实例磁盘,增加存储空间。操作步骤请参考升级实例规格。处理后建议持续观测该指标,确认是否达到了预期效果。​
实例 CPU 使用率超过 85%​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    实例​
    触发条件​
    • 监控指标:CPU使用率​
    • 持续周期:持续5个周期​
    • 取值方式:最大值​
    • 比较方式:>​
    • 告警级别:警告​
    • 阈值:85%​
    ​
  • 处理建议​
  • 如果是短暂的业务高峰,建议持续观察业务运行状态和资源水位。​
  • 检查实例是否已达到当前计算规格的各个阈值,例如 TPS 等。如果任意一项规格限制达到了计算规格的最大限制,则推荐升级实例规格,以便提高实例的各项处理性能。操作步骤请参考升级实例规格。处理后建议持续观测该指标,确认是否达到了预期效果。​
实例内存使用率超过 95%​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    实例​
    触发条件​
    • 监控指标:内存使用率​
    • 持续周期:持续5个周期​
    • 取值方式:最大值​
    • 比较方式:>​
    • 告警级别:警告​
    • 阈值:95%​
    ​
  • 处理建议​
  • 如果是短暂的业务高峰,建议持续观察业务运行状态和资源水位。​
  • 检查实例是否已达到当前计算规格的各个阈值,例如 TPS 等。如果任意一项规格限制达到了计算规格的最大限制,则推荐升级实例规格,以便提高实例的各项处理性能。操作步骤请参考升级实例规格。处理后建议持续观测该指标,确认是否达到了预期效果。​
实例连接数使用率超过 90%​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    实例​
    触发条件​
    • 监控指标:实例连接数使用率​
    • 持续周期:持续3个周期​
    • 取值方式:最大值​
    • 比较方式:>​
    • 告警级别:警告​
    • 阈值:90%​
    ​
  • 处理建议​
  • 触发告警后,您可以通过以下方式处理。处理后建议持续观测该指标,确认是否达到了预期效果。​
  • 合理设置连接数。触发告警后,建议根据业务需求合理设置 IP 连接数,清理空闲状态的连接。​
  • 升级实例规格。如果连接数持续过高,建议升级实例规格,提高连接数的上限,以免业务高峰时的处理速度受连接数限制,影响生产或消费性能。操作步骤请参考升级实例规格。​
  • 处理后建议持续观测该指标,确认是否达到了预期效果。​
实例剩余可用 Topic 数不足​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    实例​
    触发条件​
    • 监控指标:剩余可用Topic数​
    • 持续周期:持续3个周期​
    • 取值方式:最小值​
    • 比较方式:<​
    • 告警级别:如果通常通过控制台创建 Topic,推荐设置为通知。如果通常通过 OpenAPI 创建 Topic,推荐设置为警告。​
    • 阈值:根据业务需求自行设置,推荐设置为 50。​
    ​
  • 处理建议​
  • 触发告警后,您可以通过以下方式处理。处理后建议持续观测该指标,确认是否达到了预期效果。​
  • 清理闲置资源。检查是否存在未使用的闲置 Topic,如果有,建议及时清理。​
  • 如果实例规格低于 medium,为了避免业务高峰时 Topic 数量不足影响实例的业务处理速度,建议提前升级实例规格,预留足够的 Topic 数量。操作步骤请参考升级实例规格。操作步骤请参考升级实例规格。​
  • 如果规格已经是 medium,且后续预计会有大量 Topic 接入,建议及时申请一个新的实例。​
实例剩余可用 Group 数不足​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    实例​
    触发条件​
    • 监控指标:剩余可用Group数​
    • 持续周期:持续3个周期​
    • 取值方式:最小值​
    • 比较方式:<​
    • 告警级别:如果通常通过控制台创建 Group,推荐设置为通知。如果通常通过 OpenAPI 创建 Group,推荐设置为警告。​
    • 阈值:根据业务需求自行设置,推荐设置为 50。​
    ​
  • 处理建议​
  • 触发告警后,您可以通过以下方式处理。处理后建议持续观测该指标,确认是否达到了预期效果。​
  • 清理闲置资源。检查是否存在未使用的闲置 Group,如果有,建议及时清理。​
  • 如果实例规格低于 medium,为了避免业务高峰时 Group 数量不足影响实例的业务处理速度,建议提前升级实例规格,预留足够的 Group 数量。操作步骤请参考升级实例规格。​
  • 如果规格已经是 medium,且后续预计会有大量 Group 接入,建议及时申请一个新的实例。​
实例剩余可用队列数不足​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    实例​
    触发条件​
    • 监控指标:剩余可用队列数​
    • 持续周期:持续3个周期​
    • 取值方式:最小值​
    • 比较方式:<​
    • 告警级别:如果通常通过控制台创建 Topic,推荐设置为通知。如果通常通过 OpenAPI 创建 Topic,推荐设置为警告。​
    • 阈值:根据业务需求自行设置,推荐设置为 100。​
    ​
  • 处理建议​
  • 触发告警后,您可以通过以下方式处理。处理后建议持续观测该指标,确认是否达到了预期效果。​
  • 清理闲置资源。检查是否存在未使用的闲置 Topic,如果有,建议及时清理。清理 Topic 后会空余出部分队列资源。​
  • 如果清理后仍旧触发此告警,则考虑升级实例规格。 为了避免业务高峰时队列数量不足影响实例的业务处理速度,建议提前升级实例规格,预留足够的队列数量。操作步骤请参考升级实例规格。​
实例连接数使用率过高​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    实例​
    触发条件​
    • 监控指标:实例连接数使用率​
    • 持续周期:持续3个周期​
    • 取值方式:最大值​
    • 比较方式:>​
    • 告警级别:警告​
    • 阈值:连接数使用率超过 90%​
    ​
  • 处理建议​
  • 如果触发告警,表示实例连接数使用率较高。​
  • 如果实例规格低于 medium,建议升级实例的计算规格,提高连接数上限。操作步骤请参考升级实例规格。​
  • 如果规格已经是 medium,且后续预计还会创建大量连接,建议及时申请一个新的实例,或复用连接。​
实例消息生产 P99 耗时过高​
  • 告警规则配置较高​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    实例​
    触发条件​
    • 监控指标:消息生产P99耗时​
    • 持续周期:持续3个周期​
    • 取值方式:最大值​
    • 比较方式:>​
    • 告警级别:警告​
    • 阈值:高于 500ms 触发告警​
    ​
  • 处理建议​
  • 如果触发告警,表示实例生产请求的 P99 耗时较高,可以参考实例的生产流量速率判断:​
  • 如果业务流量大,接近实例计算规格对应的读写能力上限,建议及时升级实例规格,提高业务流量支撑能力。​
  • 如果业务流量不大,建议排查业务发送的消息体大小,判断是否因消息体过大等其他因素导致生产请求的 P99 耗时较高。​
实例均衡状态​
磁盘用量倾斜率超过 30%​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    实例均衡情况​
    触发条件​
    • 监控指标:磁盘倾斜率​
    • 持续周期:持续3个周期​
    • 取值方式:最大值​
    • 比较方式:>​
    • 告警级别:警告​
    • 阈值:大于 30% 则触发告警​
    ​
  • 处理建议​
  • 如果触发告警,表示数据在各个节点磁盘上分布不均衡,部分节点磁盘使用率明显高于其他节点磁盘。建议通过以下方式处理:​
  • 如果业务场景造成短暂的磁盘倾斜,建议暂不处理,持续观察业务运行状态和资源水位。​
  • 如果此实例为升配不久的实例,建议持续观察,升配实例后可能有新的数据节点加入实例,此时磁盘倾斜为正常现象。​
  • 如果磁盘倾斜率持续处于高位,建议观察并评估业务的数据写入逻辑是否合理,并尽量均衡写入数据到各个节点。​
队列数倾斜率超过 1%​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    实例均衡情况​
    触发条件​
    • 监控指标:队列数倾斜率​
    • 持续周期:持续3个周期​
    • 取值方式:最大值​
    • 比较方式:>​
    • 告警级别:警告​
    • 阈值:大于 1% 则触发告警​
    ​
  • 处理建议​
  • 如果触发告警,表示各个节点的队列数量差异较大,部分节点的队列数量明显高于其他节点。在生产环境中,应保证队列数在各个节点中数量均衡,如果存在不均衡的情况,可能导致数据流量同样不均衡,影响业务读写的效率。​
  • 触发告警之后,建议找到队列数量较少的 Topic,通过设置队列数功能提高队列数量,并保证队列数是节点数量的整数倍,例如规格 rocketmq.n3.x2.medium 的计算节点数为 3,队列数建议设置为 3 的倍数,即 3、6、9 等。调整队列数量的操作步骤请参考设置 Topic 队列数。​
生产速率倾斜率超过 30%​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    实例均衡情况​
    触发条件​
    • 监控指标:生产速率倾斜率​
    • 持续周期:持续3个周期​
    • 取值方式:最大值​
    • 比较方式:>​
    • 告警级别:警告​
    • 阈值:大于 30% 则触发告警​
    ​
  • 处理建议​
  • 如果触发告警,表示部分节点消息生产速率明显高于其他节点。通常情况下,业务生产的消息通过轮询的方式发送到各个节点,所以各节点的生产速率都是均衡的。如果出现不均衡的情况,建议观察是否有顺序消息的情况,导致消息生产速率不均,并尽快调整业务消息发送逻辑,尽量保证流量均衡。​
消费速率倾斜率超过 30%​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    实例均衡情况​
    触发条件​
    • 监控指标:消费速率倾斜率​
    • 持续周期:持续3个周期​
    • 取值方式:最大值​
    • 比较方式:>​
    • 告警级别:警告​
    • 阈值:大于 30% 则触发告警​
    ​
  • 处理建议​
  • 如果触发告警,表示部分节点消息消费速率明显高于其他节点。通常情况下,各节点的消费速率都是均衡的,如果出现不均衡的情况,建议观察是否有顺序消息的情况,导致消息消费速率不均。​
  • 在顺序消费场景,建议确认业务消息消费的逻辑,尽量保证流量均衡。​
  • 其他场景下,建议观察业务的各个消费者是否均可正常消费,是否存在部分消费端消费失败、消费性能下降的情况。​
节点最大磁盘使用率超过 75%​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    实例均衡情况​
    触发条件​
    • 监控指标:最大磁盘使用率​
    • 持续周期:持续3个周期​
    • 取值方式:最大值​
    • 比较方式:>​
    • 告警级别:警告​
    • 阈值:75%​
    ​
  • 处理建议​
  • 触发告警后,您可以参考流量倾斜率指标,并通过以下方式处理告警。处理后建议持续观测该指标,确认是否达到了预期效果。​
  • 确认业务流量是否均衡,流量是否集中指向某个节点,导致磁盘使用率过高。如果是,则需要业务侧判断是否符合预期,如果不符合业务预期,建议调整下消息写入,尽量均衡流量。​
  • 如果流量基本不倾斜,触发告警后,为了避免实例磁盘超限,建议及时扩容实例磁盘,增加存储空间。操作步骤请参考升级实例规格。​
节点最大队列数过高​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    实例均衡情况​
    触发条件​
    • 监控指标:节点最大队列数​
    • 持续周期:持续3个周期​
    • 取值方式:最大值​
    • 比较方式:>=​
    • 告警级别:警告​
    • 阈值:根据实例规格来设置,micro 规格不高于 400,tiny 不高于 1000,small 不高于 2000, medium 不高于 4000​
    ​
  • 处理建议​
  • 触发告警后,您可以通过以下方式处理告警。处理后建议持续观测该指标,确认是否达到了预期效果。​
  • 如果节点队列数快超过单节点上限,建议及时升配实例,提高实例队列数量的上限。​
  • 如果队列数在节点上分布不均衡,建议调整 Topic 的队列数量,保证每个 Topic 的队列数量均为实例节点数量的整数倍,从而保证队列数量在不同节点上都是均匀的。​
节点最大生产速率过高​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    实例均衡情况​
    触发条件​
    • 监控指标:节点最大生产速率​
    • 持续周期:持续3个周期​
    • 取值方式:最大值​
    • 比较方式:>=​
    • 告警级别:警告​
    • 阈值:根据实例规格来设置,micro 规格不高于 2000,tiny 不高于 5000,small 不高于 10000, medium 不高于 20000​
    ​
  • 处理建议​
  • 触发告警后,您可以通过以下方式处理告警。处理后建议持续观测该指标,确认是否达到了预期效果。​
  • 如果是短暂的业务高峰,建议持续观察业务运行状态和资源水位。​
  • 如果生产速率都持续较高,则建议升级实例规格,以提高实例的生产处理能力。​
  • 观察生产速率倾斜率指标,如果存在生产速率在各节点不均衡的情况,需要观察是否有顺序消息的情况,导致消息生产速率不均,并调整业务侧消息发送的逻辑,尽量保证流量均衡。​
节点最大消费速率过高​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    实例均衡情况​
    触发条件​
    • 监控指标:节点最大消费速率​
    • 持续周期:持续3个周期​
    • 取值方式:最大值​
    • 比较方式:>=​
    • 告警级别:警告​
    • 阈值:根据实例规格来设置,micro 规格不高于 2000,tiny 不高于 5000,small 不高于 10000, medium 不高于 20000​
    ​
  • 处理建议​
  • 触发告警后,您可以通过以下方式处理告警。处理后建议持续观测该指标,确认是否达到了预期效果。​
  • 如果是短暂的业务高峰,建议持续观察业务运行状态和资源水位。​
  • 如果消费速率持续较大,建议升级实例规格,以提高实例的生产消费处理能力。​
重试队列维度​
重试 Topic 发送速率大于 1000​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    主题​
    触发条件​
    • 监控指标:重试Topic消息数​
    • 持续周期:持续1个周期​
    • 取值方式:最大值​
    • 比较方式:>​
    • 告警级别:警告​
    • 阈值:1000​
    ​
  • 处理建议​
  • 触发告警后,建议及时排查业务消费处理是否出现问题,导致消息消费失败。处理后建议持续观测该指标,确认是否达到了预期效果。​
死信队列维度​
新增死信消息​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    死信队列​
    触发条件​
    • 监控指标:死信Topic消息数​
    • 持续周期:持续1个周期​
    • 取值方式:平均值​
    • 比较方式:>=​
    • 告警级别:严重​
    • 阈值:1​
    ​
  • 处理建议​
  • 触发告警后,您可以通过以下方式处理。处理后建议持续观测该指标,确认是否达到了预期效果。​
  • 重新投递死信消息,查看消息是否可以被正常消费。操作步骤请参考重新发送死信消息。​
  • 排查客户端消费失败的原因,避免后续再次出现消费失败的情况。​
消费组维度​
消息堆积​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    消费组​
    触发条件​
    • 监控指标:消费组消息堆积数​
    • 持续周期:持续3个周期​
    • 取值方式:最大值​
    • 比较方式:>=​
    • 告警级别:警告​
    • 阈值:建议根据业务需求自定义设置​
    ​
  • 处理建议​
  • 触发告警后,您可以参考消费速率慢处理进行问题排查与处理。处理后建议持续观测该指标,确认是否达到了预期效果。​
消息堆积时长过高​
  • 告警规则配置​
  • 告警规则的核心配置如下。创建告警规则的操作步骤请参考设置告警规则。​
  • ​
    配置​
    取值​
    维度​
    消费组​
    触发条件​
    • 监控指标:消息堆积时长​
    • 持续周期:持续3个周期​
    • 取值方式:最大值​
    • 比较方式:>​
    • 告警级别:警告​
    • 阈值:根据业务实际情况设置,但不要大于消息的保存时间​
    ​
  • 处理建议​
  • 触发告警后,您可以通过以下方式处理。处理后建议持续观测该指标,确认是否达到了预期效果。​
  • 如果消息堆积时间过长,典型原因为业务消费能力不足,建议业务侧提高消费速率。​
  • 如果业务消息消费不完,且确认未消费的消息可以丢弃,建议重置消费进度。重置的操作步骤请参考重置消费位点。​
​
最近更新时间:2025.07.09 16:43:46
这个页面对您有帮助吗?
有用
有用
无用
无用