容器服务
配置项 | 说明 |
配置项 | 说明 |
名称 | 配置告警规则的名称。 |
描述 | 配置告警规则的描述信息。 |
配置项 | 说明 |
配置项 | 说明 |
工作区 | 在下拉菜单中选择配置云原生观测时,与集群绑定的工作区。 |
查询语句 | 使用标准 PromQL 语句,配置监控对象或指标。本文以 集群 CPU 用量 指标的 PromQL 语句sum by(cluster)(rate(container_cpu_usage_seconds_total{cluster=~"$Cluster",id=~"/"}[5m]))为例。更多指标详情,请参见下文 指标对照清单。 |
触发策略 | 配置告警触发策略。指定告警等级、条件、阈值和条件持续时间。
|
参数 | 说明 |
参数 | 说明 |
$Cluster |
云监控指标 | 指标说明 | PromQL 语句 | 单位 |
云监控指标 | 指标说明 | PromQL 语句 | 单位 |
Cluster_MemoryUsed | 集群内存用量 | sum by (cluster) (container_memory_working_set_bytes{cluster=~"$Cluster", id=~"/"}) | Bytes(SI) |
Cluster_MemoryUsage | 集群内存使用率 | (sum by (cluster) (container_memory_working_set_bytes{cluster=~"$Cluster",id=~"/"}) / sum by (cluster) (machine_memory_bytes{cluster=~"$Cluster"}))*100 | Percent |
Cluster_CPUUsed | 集群 CPU 用量 | sum by(cluster)(rate(container_cpu_usage_seconds_total{cluster=~"$Cluster",id=~"/"}[5m])) | Core |
Cluster_CPUUsage | 集群 CPU 使用率 | (sum(rate(container_cpu_usage_seconds_total{cluster=~"$Cluster",id=~"/"}[5m])) by (cluster) / sum(machine_cpu_cores{cluster=~"$Cluster"}) by (cluster)) * 100 | Percent |
Cluster_NodeCount | 集群节点数量 | count(kube_node_info{cluster=~"$Cluster"}) | Count |
参数 | 说明 |
参数 | 说明 |
$Cluster | |
$Namespace | 命名空间名称,例如kube-system。 |
云监控指标 | 指标说明 | PromQL 语句 | 单位 |
云监控指标 | 指标说明 | PromQL 语句 | 单位 |
Namespace_CPUUsed | 命名空间 CPU 用量 | sum by(cluster, namespace) (rate(container_cpu_usage_seconds_total{cluster=~"$Cluster", namespace!="", namespace=~"$Namespace",container="", name=""}[5m])) | Core |
Namespace_MemoryUsed | 命名空间内存用量 | sum by(cluster, namespace) (container_memory_working_set_bytes{cluster=~"$Cluster", namespace!="", namespace=~"$Namespace",container="", name=""}) | Bytes(SI) |
参数 | 说明 |
参数 | 说明 |
$Cluster | |
$Node | 节点 IP 地址,例如192.168.1.10。 |
云监控指标 | 指标说明 | PromQL 语句 | 单位 |
云监控指标 | 指标说明 | PromQL 语句 | 单位 |
Node_PodCount | 容器组个数 | count by(cluster, node)(kube_pod_info{cluster=~"$Cluster", node=~"$Node"}) | Count |
Node_CPURequestUsage | 节点 CPU 分配率(request) | sum(kube_pod_container_resource_requests{cluster=~"$Cluster",resource="cpu", node=~"$Node"}) by (cluster,node,resource,unit) / ON(cluster,node,resource,unit) kube_node_status_allocatable{cluster=~"$Cluster"} * 100 | Percent |
Node_MemoryRequestUsage | 节点内存分配率(request) | sum(kube_pod_container_resource_requests{cluster=~"$Cluster",resource="memory", node=~"$Node"}) by (cluster,node,resource,unit) / ON(cluster,node,resource,unit) kube_node_status_allocatable{cluster=~"$Cluster"} * 100 | Percent |
Node_CPULimitUsage | 节点 CPU 分配率(limit) | sum(kube_pod_container_resource_limits{cluster=~"$Cluster",resource="cpu", node=~"$Node"}) by (cluster,node,resource,unit) / ON(cluster,node,resource,unit) kube_node_status_allocatable{cluster=~"$Cluster"} * 100 | Percent |
Node_MemoryLimitUsage | 节点内存分配率(limit) | sum(kube_pod_container_resource_limits{cluster=~"$Cluster",resource="memory", node=~"$Node"}) by (cluster,node,resource,unit) / ON(cluster,node,resource,unit) kube_node_status_allocatable{cluster=~"$Cluster"} * 100 | Percent |
Node_CPUUsage | 节点 CPU 使用率 | rate(container_cpu_usage_seconds_total{cluster=~"$Cluster",id=~"/", node=~"$Node"}[5m]) / ON(cluster, node) machine_cpu_cores{cluster=~"$Cluster"} * 100 | Percent |
Node_MemoryUsage | 节点内存使用率 | container_memory_working_set_bytes{cluster=~"$Cluster",id=~"/", node=~"$Node"} / ON(cluster, node) machine_memory_bytes{cluster=~"$Cluster"} * 100 | Percent |
参数 | 说明 |
参数 | 说明 |
$Cluster | |
$Namespace | 命名空间名称,例如kube-system。 |
$PersistentVolumeClaim | 存储卷声明名称,例如ebs-demo。 |
云监控指标 | 指标说明 | PromQL 语句 | 单位 |
云监控指标 | 指标说明 | PromQL 语句 | 单位 |
PersistentVolumeClaim_VolumeUsage | 存储卷声明容量使用率 | kubelet_volume_stats_used_bytes{cluster=~"$Cluster", namespace=~"$Namespace", persistentvolumeclaim=~"$PersistentVolumeClaim"}/kubelet_volume_stats_capacity_bytes{cluster=~"$Cluster", namespace=~"$Namespace", persistentvolumeclaim=~"$PersistentVolumeClaim"} * 100 | Percent |
PersistentVolumeClaim_INodeUsage | 存储卷声明 inode 使用率 | kubelet_volume_stats_inodes_used{cluster=~"$Cluster", namespace=~"$Namespace", persistentvolumeclaim=~"$PersistentVolumeClaim"}/kubelet_volume_stats_inodes{cluster=~"$Cluster", namespace=~"$Namespace", persistentvolumeclaim=~"$PersistentVolumeClaim"} * 100 | Percent |
参数 | 说明 |
参数 | 说明 |
$Cluster | |
$Namespace | 命名空间名称,例如kube-system。 |
$Deployment | 无状态负载名称,例如metrics-server。 |
云监控指标 | 指标说明 | PromQL 语句 | 单位 |
云监控指标 | 指标说明 | PromQL 语句 | 单位 |
Deployment_MemoryUsed | 无状态负载内存用量 | sum(kube_replicaset_owner{cluster=~"$Cluster",owner_kind="Deployment",owner_is_controller="true", namespace=~"$Namespace",owner_name=~"$Deployment"} * ON(cluster, namespace, replicaset) group_right(owner_name) label_join(kube_pod_owner{cluster=~"$Cluster",namespace=~"$Namespace",owner_kind="ReplicaSet",owner_is_controller="true"},"replicaset", "" ,"owner_name") * ON(cluster, namespace, pod) group_right sum by(cluster, namespace, pod)(container_memory_working_set_bytes{cluster=~"$Cluster", name="", container="", pod!=""})) | Bytes(SI) |
Deployment_CPUUsage | 无状态负载 CPU 使用率(占limit) | avg(kube_replicaset_owner{cluster=~"$Cluster",owner_kind="Deployment",owner_is_controller="true", namespace=~"$Namespace",owner_name=~"$Deployment"} * ON(cluster, namespace, replicaset) group_right(owner_name) label_join(kube_pod_owner{cluster=~"$Cluster",namespace=~"$Namespace",owner_kind="ReplicaSet",owner_is_controller="true"},"replicaset", "" ,"owner_name") * ON(cluster, namespace, pod) group_right sum by(cluster, namespace, pod)(rate(container_cpu_usage_seconds_total{cluster=~"$Cluster", name="", container="", pod!=""}[5m])) / ON(cluster, namespace, pod) sum by(cluster, namespace, pod) (kube_pod_container_resource_limits{cluster=~"$Cluster", namespace=~"$Namespace", resource="cpu", unit="core"}) * 100) | Percent |
Deployment_MemoryUsage | 无状态负载内存使用率(占limit) | avg(kube_replicaset_owner{cluster=~"$Cluster",owner_kind="Deployment",owner_is_controller="true", namespace=~"$Namespace",owner_name=~"$Deployment"} * ON(cluster, namespace, replicaset) group_right(owner_name) label_join(kube_pod_owner{cluster=~"$Cluster",namespace=~"$Namespace",owner_kind="ReplicaSet",owner_is_controller="true"},"replicaset", "" ,"owner_name") * ON(cluster, namespace, pod) group_right sum by(cluster, namespace, pod)(container_memory_working_set_bytes{cluster=~"$Cluster", name="", container="", pod!=""}) / ON(cluster, namespace, pod) sum by(cluster, namespace, pod)(kube_pod_container_resource_limits{cluster=~"$Cluster", namespace=~"$Namespace", resource="memory", unit="byte"})) * 100 | Percent |
Deployment_CPUUsed | 无状态负载 CPU 用量 | sum(kube_replicaset_owner{cluster=~"$Cluster",owner_kind="Deployment",owner_is_controller="true", namespace=~"$Namespace",owner_name=~"$Deployment"} * ON(cluster, namespace, replicaset) group_right(owner_name) label_join(kube_pod_owner{cluster=~"$Cluster",namespace=~"$Namespace",owner_kind="ReplicaSet",owner_is_controller="true"},"replicaset", "" ,"owner_name") * ON(cluster, namespace, pod) group_right sum by(cluster, namespace, pod)(rate(container_cpu_usage_seconds_total{cluster=~"$Cluster", name="", container="", pod!=""}[5m]))) | Core |
Deployment_GPU_Usage | 无状态负载GPU使用率 | avg(kube_replicaset_owner{cluster=~"$Cluster",owner_kind="Deployment",owner_is_controller="true", namespace=~"$Namespace",owner_name=~"$Deployment"} * ON(cluster, namespace, replicaset) group_right(owner_name) label_join(kube_pod_owner{cluster=~"$Cluster",namespace=~"$Namespace",owner_kind="ReplicaSet",owner_is_controller="true"},"replicaset", "" ,"owner_name") * ON(cluster, namespace, pod) group_right sum by(cluster, namespace, pod)(DCGM_FI_DEV_GPU_UTIL{cluster=~"$Cluster", namespace=~"$Namespace"})) | Percent |
Deployment_GPU_Memory_Usage | 无状态负载GPU显存使用率 | avg(kube_replicaset_owner{cluster=~"$Cluster",owner_kind="Deployment",owner_is_controller="true", namespace=~"$Namespace",owner_name=~"$Deployment"} * ON(cluster, namespace, replicaset) group_right(owner_name) label_join(kube_pod_owner{cluster=~"$Cluster",namespace=~"$Namespace",owner_kind="ReplicaSet",owner_is_controller="true"},"replicaset", "" ,"owner_name") * ON(cluster, namespace, pod) group_right sum by(cluster, namespace, pod)(DCGM_FI_DEV_FB_USED{cluster=~"$Cluster", namespace=~"$Namespace"} / (DCGM_FI_DEV_FB_FREE + DCGM_FI_DEV_FB_USED)))*100 | Percent |
参数 | 说明 |
参数 | 说明 |
$Cluster | |
$Namespace | 命名空间名称,例如kube-system。 |
$StatefulSet | 有状态负载名称,例如vmagent-prometheus-agent。 |
云监控指标 | 指标 | PromQL | 单位 |
云监控指标 | 指标 | PromQL | 单位 |
StatefulSet_CPUUsed | 有状态负载 CPU 用量 | sum(kube_pod_owner{cluster=~"$Cluster",namespace=~"$Namespace",owner_kind="StatefulSet",owner_is_controller="true", owner_name=~"$StatefulSet"} * ON(cluster, namespace, pod) group_right sum by(cluster, namespace, pod)(rate(container_cpu_usage_seconds_total{cluster=~"$Cluster", name="", container="", pod!=""}[5m]))) | Core |
StatefulSet_MemoryUsed | 有状态负载内存用量 | sum(kube_pod_owner{cluster=~"$Cluster",namespace=~"$Namespace",owner_kind="StatefulSet", owner_name=~"$StatefulSet"} * ON(cluster, namespace, pod) group_right sum by(cluster, namespace, pod)(container_memory_working_set_bytes{cluster=~"$Cluster", name="", container="", pod!=""})) | Bytes(SI) |
StatefulSet_CPUUsage | 有状态负载 CPU 使用率(占limit) | avg(kube_pod_owner{cluster=~"$Cluster",namespace=~"$Namespace",owner_kind="StatefulSet",owner_is_controller="true", owner_name=~"$StatefulSet"} * ON(cluster, namespace, pod) group_right sum by(cluster, namespace, pod)(rate(container_cpu_usage_seconds_total{cluster=~"$Cluster", name="", container="", pod!=""}[5m])) / ON(cluster, namespace, pod) sum by(cluster, namespace, pod) (kube_pod_container_resource_limits{cluster=~"$Cluster", namespace=~"$Namespace", resource="cpu", unit="core"}) * 100) | Percent |
StatefulSet_MemoryUsage | 有状态负载内存使用率(占limit) | avg(kube_pod_owner{cluster=~"$Cluster",namespace=~"$Namespace",owner_kind="StatefulSet", owner_name=~"$StatefulSet"} * ON(cluster, namespace, pod) group_right sum by(cluster, namespace, pod)(container_memory_working_set_bytes{cluster=~"$Cluster", name="", container="", pod!=""}) / ON(cluster, namespace, pod) sum by(cluster, namespace, pod)(kube_pod_container_resource_limits{cluster=~"$Cluster", namespace=~"$Namespace", resource="memory", unit="byte"})) * 100 | Percent |
StatefulSet_GPU_Usage | 有状态负载GPU使用率 | avg(kube_pod_owner{cluster=~"$Cluster",namespace=~"$Namespace",owner_kind="StatefulSet", owner_name=~"$StatefulSet"} * ON(cluster, namespace, pod) group_right sum by(cluster, namespace, pod)(container_memory_working_set_bytes{cluster=~"$Cluster", name="", container="", pod!=""}) / ON(cluster, namespace, pod) sum by(cluster, namespace, pod)(DCGM_FI_DEV_GPU_UTIL{cluster=~"$Cluster", namespace=~"$Namespace"})) | Percent |
StatefulSet_GPU_Memory_Usage | 有状态负载GPU显存使用率 | avg(kube_pod_owner{cluster=~"$Cluster",namespace=~"$Namespace",owner_kind="StatefulSet", owner_name=~"$StatefulSet"} * ON(cluster, namespace, pod) group_right sum by(cluster, namespace, pod)(container_memory_working_set_bytes{cluster=~"$Cluster", name="", container="", pod!=""}) / ON(cluster, namespace, pod) sum by(cluster, namespace, pod)(DCGM_FI_DEV_FB_USED{cluster=~"$Cluster", namespace=~"$Namespace"} / (DCGM_FI_DEV_FB_FREE + DCGM_FI_DEV_FB_USED))) * 100 | Percent |
参数 | 说明 |
参数 | 说明 |
$Cluster | |
$Namespace | 命名空间名称,例如kube-system。 |
$Pod | 容器组名称,例如csi-ebs-node-hs***。 |
云监控指标 | 指标说明 | PromQL 语句 | 单位 |
云监控指标 | 指标说明 | PromQL 语句 | 单位 |
Pod_CPUUsed | 容器组 CPU 用量 | rate(container_cpu_usage_seconds_total{cluster=~"$Cluster", namespace=~"$Namespace",name="", container="", pod=~"$Pod"}[5m]) | Core |
Pod_MemoryUsed | 容器组内存用量 | container_memory_working_set_bytes{cluster=~"$Cluster", namespace=~"$Namespace", pod=~"$Pod", name="", container=""} | Bytes(SI) |
Pod_CPUUsage | 容器组 CPU 使用率(占limit) | rate(container_cpu_usage_seconds_total{cluster=~"$Cluster", namespace=~"$Namespace",name="", container="", pod=~"$Pod"}[5m]) / ON(cluster,namespace,pod) group_left sum by(cluster,namespace,pod)(kube_pod_container_resource_limits{cluster=~"$Cluster", namespace=~"$Namespace", pod=~"$Pod", resource="cpu", unit="core"}) * 100 | Percent |
Pod_MemoryUsage | 容器组内存使用率(占limit) | container_memory_working_set_bytes{cluster=~"$Cluster", namespace=~"$Namespace", pod=~"$Pod", name="", container=""} / ON(cluster,namespace,pod) group_left sum by(cluster,namespace,pod)(kube_pod_container_resource_limits{cluster=~"$Cluster", namespace=~"$Namespace", pod=~"$Pod", resource="memory", unit="byte"}) * 100 | Percent |
Pod_NetworkReceiveBytesRate | 容器组网络流入流量速率 | rate(container_network_receive_bytes_total{cluster=~"$Cluster", namespace=~"$Namespace", pod=~"$Pod"}[5m]) | Bytes/Second(SI) |
Pod_NetworkTransmitBytesRate | 容器组网络流出流量速率 | rate(container_network_transmit_bytes_total{cluster=~"$Cluster", namespace=~"$Namespace", pod=~"$Pod"}[5m]) | Bytes/Second(SI) |
Pod_NetworkReceiveLossPacketRate | 容器组网络流入丢包率 | rate(container_network_receive_packets_dropped_total{cluster=~"$Cluster", namespace=~"$Namespace", pod=~"$Pod"}[5m])/rate(container_network_receive_packets_total{}[5m]) * 100 | Percent |
Pod_NetworkTransmitLossPacketRate | 容器组网络流出丢包率 | rate(container_network_transmit_packets_dropped_total{cluster=~"$Cluster", namespace=~"$Namespace", pod=~"$Pod"}[5m])/rate(container_network_transmit_packets_total{}[5m]) * 100 | Percent |
Pod_Status | 容器组运行状态 | sum by(cluster,namespace,pod)(kube_pod_status_phase{phase=~"Running|Succeeded", cluster=~"$Cluster", namespace=~"$Namespace", pod=~"$Pod"}) | None |
Pod_Readiness | 容器组就绪状态 | kube_pod_status_ready{condition="true",cluster=~"$Cluster", namespace=~"$Namespace", pod=~"$Pod"} | None |
参数 | 说明 |
参数 | 说明 |
$Cluster | |
$Namespace | 命名空间名称,例如kube-system。 |
$Pod | 容器组名称,例如csi-ebs-node-hs***。 |
Container | 容器名称,例如csi-ebs-driver。 |
云监控指标 | 指标说明 | PromQL 语句 | 单位 |
云监控指标 | 指标说明 | PromQL 语句 | 单位 |
Container_MemoryUsed | 容器内存用量 | container_memory_working_set_bytes{cluster=~"$Cluster", namespace=~"$Namespace", pod=~"$Pod", container=~"$Container"} | Bytes(SI) |
Container_CPUUsage | 容器 CPU 使用率(占limit) | rate(container_cpu_usage_seconds_total{cluster=~"$Cluster", namespace=~"$Namespace", pod=~"$Pod", container=~"$Container"}[5m]) / ON(cluster, namespace, pod, container)kube_pod_container_resource_limits{resource="cpu", unit="core"} * 100 | Percent |
Container_MemoryUsage | 容器内存使用率(占limit) | container_memory_working_set_bytes{cluster=~"$Cluster", namespace=~"$Namespace", pod=~"$Pod", container=~"$Container"}/ ON(cluster, namespace, pod, container)kube_pod_container_resource_limits{resource="memory", unit="byte"} * 100 | Percent |
Container_CPUUsed | 容器 CPU 用量 | rate(container_cpu_usage_seconds_total{cluster=~"$Cluster", namespace=~"$Namespace", pod=~"$Pod", container=~"$Container"}[5m]) | Core |
Container_GPU_Memory_Usage | 容器GPU显存使用率 | DCGM_FI_DEV_FB_USED{cluster=~"$Cluster", namespace=~"$Namespace", pod=~"$Pod", container=~"$Container"} / (DCGM_FI_DEV_FB_FREE + DCGM_FI_DEV_FB_USED) * 100 | Percent |