文档中心

容器服务

集群观测

容器服务观测

容器服务观测允许您监控容器服务集群的基础资源和工作状态。本文为您介绍如何配置容器服务观测功能。

前提条件

已开启云原生观测功能，详情请参见开启观测。

（可选）已在全栈可观测平台或托管 Prometheus 中创建告警通知策略，详情请参见创建通知策略、创建告警通知策略。

（可选）已在全栈可观测平台或托管 Prometheus 中创建告警聚合策略，详情请参见创建聚合策略、创建告警聚合策略。

开启观测

步骤一：配置观测项

登录容器服务控制台。

在左侧导航栏单击集群，找到目标集群，单击集群名称。

在集群管理页面的左侧导航栏中，单击观测配置，并选择基础观测页签。

选择容器服务卡片，单击启用观测，进入观测项配置页面。

系统自动检查开启观测所需的必要条件，包括工作区配置、组件状态等。

在观测项配置中，勾选启用需要采集指标的观测项。对于未启用的配置项，系统不会采集对应的指标，同时系统会提示组件安装，您可根据自身情况决定是否安装相关组件并启用对应的观测项。

配置完成后，单击下一步，进入指标配置页面。

步骤二：配置指标采集

在指标配置页面中，查看已开启观测项对应的采集间隔和指标数量。

单击编辑指标，支持选择或丢弃组件的具体指标、修改采集间隔和指标 Relabel。

在采集间隔中，选择该组件指标的采集间隔。不同组件支持的采集间隔不同。

在指标列表中，勾选指标，则采集该指标。取消勾选，则丢弃该指标。单击全部、基础指标或其他指标页签，允许基于指标类型对指标项进行筛选。

说明

调整指标采集间隔的影响如下，请按需调整：

减小采集间隔：增加单位时间内上报的指标数量，提升监控精度，但 VMP 标准版工作区的费用会增加。

增加采集间隔：减少单位时间内上报的指标数量，降低 VMP 标准版工作区的费用，但监控精度会降低。

云产品的指标类型分为基础指标和其他指标，不同类型指标的计费方式不同，详情请参见托管 Prometheus 计费方式。

在 metricRelabelings 中，单击添加规则，配置指标 Relabel 规则。允许在指标完成采集后、写入存储前，对每条指标的标签执行改写操作。常见用途包括修改标签值、新增标签或重命名标签，便于在查询时统一标签口径。更多详情介绍，请参见指标 Relabel。

序号	功能	对应 YAML 字段	说明
①	操作类型	action	对指标执行的操作类型，当前仅支持 replace，生效逻辑如下：如果targetLabel和sourceLabels的值一致，则表示覆盖sourceLabels。如果targetLabel定义的 key 不存在，则会默认创建新的 label。
②	源标签	sourceLabels	指定一个或多个来源标签，多个标签之间用\|分隔。系统将读取这些标签的值进行匹配或提取。
③	正则表达式	regex	用于匹配源标签值的正则表达式。默认为(.*)，表示匹配任意值。支持使用捕获组，如(.+)提取部分内容。
④	替换值	replacement	匹配成功后写入目标标签的值。默认为$1，表示取正则第一个捕获组的内容。支持填入固定字符串。
⑤	目标标签	targetLabel	将处理结果写入的目标标签名称。若目标标签已存在，则覆盖其原有值。若目标标签不存在，则新增该标签。

配置完成后，单击下一步，进入告警与通知配置页面。

步骤三：配置告警与通知

在告警通知选项中，选择接收告警的平台，当前支持统一告警中心和原 VMP 告警策略。

在通知策略名称选项中，选择已创建的告警通知策略，并分别基于告警等级，配置不同级别告警的通知对象和通知方式。

说明

若无需配置某个级别的告警，可以取消勾选对应的告警等级。

若当前已有的通知策略不满足需求，可以在通知策略名称中选择 vke_default_notify_policy（自动创建），并在下方为所需告警等级配置通知对象和通知方式。保存后，系统将在统一告警中心或托管 Prometheus 中自动创建一条名称为 vke_default_notify_policy 的自定义通知策略。

在告警聚合策略选项中，选择已创建的告警聚合策略。

配置预置告警规则。

开启或关闭预置告警规则右侧的开关。开启后，系统按照配置的触发条件检测指标并产生告警；关闭后，该规则不再触发新的告警。

单击查看 PromQL，支持查看当前预置告警规则的说明和对应的 PromQL 语句。

单击需要配置的预置规则名称，展开预置告警规则配置页面，在触发条件区域配置不同级别（P0、P1 或 P2）告警的触发条件。

配置项	说明
告警等级	勾选不同告警等级（P0、P1 或 P2）后的启用，使对应等级的触发条件生效。取消勾选，则表示不设定该等级的告警。
比较条件	指定 PromQL 语句和阈值之间的比较条件。支持配置多个比较条件，包括：大于、大于等于、小于、小于等于、等于和不等于。
阈值	配置指标的阈值。
条件持续时间	配置指标持续满足触发条件的时长。只有指标在该时长内持续满足比较条件，系统才会触发对应等级的告警。
Label	配置告警规则的 Label，主要用于告警身份识别、分组、去重、路由匹配等。Label 由 Key 和 Value 组成。其中： Key：字符串形式，支持以字母或_开头，但不能以__开头。支持字母、数字和_，取值范围为 1～256。 Value：字符串形式，支持中英文、数字和特殊字符，取值范围为 1～512。常见配置示例： labels: severity: critical # 告警级别 business: pay # 业务线 alert_type: resource # 告警类型
Annotation	配置告警规则的 Annotation，主要用于关键信息展示。Annotation 由 Key 和 Value 组成。其中： Key：字符串形式，支持以字母或_开头，但不能以__开头。支持字母、数字和_，取值范围为 1～256。 Value：字符串形式，支持中英文、数字和特殊字符，取值范围为 1～512。常见配置示例： annotations: summary: "High CPU usage on instance {{ $labels.instance }}" description: "Current CPU usage is {{ $value \| humanizePercentage }}, threshold is 80%" runbook_url: "https://xxx/docs/cpu-alert" dashboard_url: "https://grafana/xxx"

单击完成配置。

说明

除了直接使用预置告警模板配置告警规则，您可以自定义模板中的配置，或直接使用 PromQL 语句配置告警规则。详情请参见告警配置概述。

预置告警规则模板的详情，包括规则说明、PromQL 配置和常见告警处理流程。请参见预置告警模板。

集群观测看板

说明

预置看板中为您提供监控数据同比对照、复制看板语句等功能，详情请参见使用看板。

集群监控

该看板用于查看集群整体的监控信息，包括：集群节点信息（节点数量、未就绪节点数）、集群内存信息（内存使用量、内存使用率）、集群 CPU 信息（CPU 使用量、CPU 使用率）等。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。

在集群管理页面的左侧导航栏中，选择监控中心 > 监控看板。

在左侧看板列表中选择集群监控 > 集群监控概览，即可查看监控看板。

集群 Namespace 监控

该看板用于查看集群命名空间维度的监控信息，包括：命名空间内 NotReady 状态的 Deploment、Statefulset、DaemonSet 数量，命名空间内的内存使用、CPU 使用和 PVC 使用信息。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。

在集群管理页面的左侧导航栏中，选择监控中心 > 监控看板。

在左侧看板列表中选择集群监控 > 集群 Namespace 监控，即可查看监控看板。

节点观测看板

节点概览

该看板用于查看节点的概览信息，包括：节点内存使用率、节点 CPU 使用率、节点磁盘使用率等。支持同时选择多个节点，满足节点资源使用情况对比。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。

在集群管理页面的左侧导航栏中，选择监控中心 > 监控看板。

在左侧看板列表中选择节点监控 > 节点概览，即可查看监控大盘。

节点详情监控

该看板用于查看指定节点的监控信息，包括：节点内存信息（内存使用量、内存使用率）、节点 CPU 信息（CPU 使用量、CPU 使用率、CPU 负载）、磁盘信息（磁盘使用率、磁盘读写 IOPS）等。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。

在集群管理页面的左侧导航栏中，选择监控中心 > 监控看板。

在左侧看板列表中选择节点监控 > 节点详情监控，即可查看监控看板。

虚拟节点监控

该看板用于查看集群虚拟节点的监控信息，包括：虚拟节点内存信息（内存总量、内存使用率）、虚拟节点 CPU 信息（CPU 总数、CPU 使用率）、虚拟节点 GPU 信息（GPU 总数、GPU 使用率）等。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。

在集群管理页面的左侧导航栏中，选择监控中心 > 监控看板。

在左侧看板列表中选择节点监控 > 虚拟节点监控，即可查看监控看板。

工作负载观测看板

无状态负载监控

该看板用于查看指定命名空间下无状态负载的监控信息，包括：实例信息（期望实例数、就绪实例数、就绪比例）、CPU 信息（CPU Request、CPU Limits）、内存信息（内存 Request、内存 Limits）、网络信息、磁盘信息等。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。

在集群管理页面的左侧导航栏中，选择监控中心 > 监控看板。

在左侧看板列表中选择工作负载监控 > 无状态负载监控，即可查看监控大盘。

有状态负载监控

该看板用于查看指定命名空间下有状态负载的监控信息，包括：实例信息（期望实例数、就绪实例数、就绪比例）、CPU 信息（CPU Request、CPU Limits）、内存信息（内存 Request、内存 Limits）、网络信息、磁盘信息等。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。

在集群管理页面的左侧导航栏中，选择监控中心 > 监控看板。

在左侧看板列表中选择工作负载监控 > 有状态负载监控，即可查看监控大盘。

守护进程监控

该看板用于查看指定命名空间下守护进程的监控信息，包括：CPU 信息（CPU Request、CPU Limits）、内存信息（内存 Request、内存 Limits）、网络信息、磁盘信息等。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。

在集群管理页面的左侧导航栏中，选择监控中心 > 监控看板。

在左侧看板列表中选择工作负载监控 > 守护进程监控，即可查看监控大盘。

容器组监控

该看板用于查看指定命名空间下容器组（Pod）的监控信息，包括：Pod 内存信息（内存使用量、内存使用率）、Pod CPU 信息（CPU 使用量、CPU 使用率）、Pod 网络信息（流入速率、流出速率）等。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。

在集群管理页面的左侧导航栏中，选择监控中心 > 监控看板。

在左侧看板列表中选择工作负载监控 > 容器组监控，即可查看监控看板。

说明

您可以查看单个容器组的监控信息，也可以选择 All，查看全部容器组的监控信息。

容器监控

该看板用于查看指定命名空间下容器（Container）的监控信息，包括：Container 内存信息（内存使用量、内存使用率）、Container CPU 信息（CPU 使用量、CPU 使用率）等。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。

在集群管理页面的左侧导航栏中，选择监控中心 > 监控看板。

在左侧看板列表中选择工作负载监控 > 容器监控，即可查看监控看板。

说明

您可以查看单个 Container 的监控信息，也可以选择 All，查看所有 Container 的监控信息。

弹性伸缩监控

该看板用于查看命名空间下所有或指定 Pod 的 HPA 监控信息，包括：HPA 预期副本数、HPA 当前副本数等。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。

在集群管理页面的左侧导航栏中，选择监控中心 > 监控看板。

在左侧看板列表中选择工作负载监控 > 弹性伸缩监控，即可查看监控大盘。

智能伸缩监控

该看板用于查看命名空间下 IHPA 的监控信息，包括：副本数、CPU 使用量、内存使用量等。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。

在集群管理页面的左侧导航栏中，选择监控中心 > 监控看板。

在左侧看板列表中选择工作负载监控 > 智能伸缩监控，即可查看监控大盘。

存储观测看板

存储卷声明监控

该看板用于查看命名空间下所有或指定 PVC 的监控信息，包括：容量使用率和 inode 使用率。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。

在集群管理页面的左侧导航栏中，选择监控中心 > 监控看板。

在左侧看板列表中选择存储服务监控 > 存储卷声明监控，即可查看监控大盘。

核心组件观测看板

metrics-server 监控

该看板用于查看核心组件 metrics-server 的观测指标。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。

在集群管理页面的左侧导航栏中，选择监控中心 > 监控看板。

在左侧看板列表中选择核心组件监控 > metrics-server 监控，即可查看监控看板。

metrics-server 监控看板详细的图表说明，如下表所示。

说明

图表对应 PromQL 语句的获取方式，请参见使用看板。

图表名称	单位	图表说明
Overview / 一屏总览
节点数	个	集群当前纳入 metrics-server 监控的节点数量，反映节点指标的采集覆盖情况。正常情况下，节点数应与集群实际节点数保持一致，并随节点增减变化。如果节点数明显少于实际节点数或突然下降，通常代表部分节点指标未被正常采集，建议检查节点状态、Kubelet 可用性及组件抓取日志。
容器数	个	集群当前纳入 metrics-server 监控的容器数量，反映容器指标的采集覆盖情况。正常情况下，容器数应随工作负载规模变化，并与集群实际运行的容器数量基本一致。如果容器数异常下降或与实际规模明显不符，通常代表部分容器指标未被正常采集，建议检查相关节点、Pod 状态及组件抓取日志。
Kubelet QPS	次/秒	metrics-server 每秒向 kubelet 发起的请求数（基于过去 5 分钟数据计算），反映组件的抓取请求负载。正常情况下，请求数应随节点规模和抓取频率平稳变化。如果请求数持续异常升高，通常代表抓取频率过高、节点规模快速增长或发生重复请求；如果异常下降，可能存在抓取中断，建议检查组件配置、节点规模及抓取日志。
抓取成功率	%	kubelet 抓取成功率（基于过去 5 分钟数据计算），反映节点指标采集的可靠性。正常情况下，抓取成功率应接近 100%。如果成功率持续下降，通常代表部分 kubelet 请求失败，可能导致节点或容器指标缺失，建议检查 kubelet 状态、网络连通性、证书及权限配置。
抓取 P99 耗时	s	metrics-server 向 kubelet 发起一轮抓取与写入流程的 P99 分位值，反映单轮指标抓取的尾部延迟。正常情况下，抓取 P99 耗时应保持平稳，且低于组件的抓取周期。如果 P99 持续升高，通常代表部分节点抓取变慢，可能导致指标更新延迟，建议检查 kubelet 响应耗时、网络质量及组件资源使用情况。
指标新鲜度	s	已采集指标与当前时间之间的平均间隔，反映指标数据的新鲜程度。正常情况下，指标新鲜度应小于抓取周期。如果该值持续升高，并大于抓取周期。通常代表指标更新不及时，可能由抓取延迟或失败引起，建议结合抓取成功率、抓取耗时及 kubelet 状态进一步排查。
Storage & API / 资源与核心状态
存储点数趋势	个	按节点和容器类型展示纳入 metrics-server 监控的资源变化趋势，反映组件当前保存的指标数据规模。正常情况下，节点和容器存储点数应随集群规模平稳变化，并分别与实际节点数和容器数基本一致。如果某类存储点数突然下降或长时间不更新，通常代表对应指标采集或存储异常，建议检查节点、容器状态及组件日志。
抓取耗时	s	平均抓取耗时和 P99 耗时（基于过去 5 分钟数据计算），反映整体抓取效率及尾部延迟。正常情况下，平均耗时和 P99 应保持平稳，且 P99 通常高于平均值。如果平均耗时或 P99 持续升高，通常代表指标抓取整体或部分节点变慢，建议检查 kubelet 响应耗时、网络质量及组件资源使用情况。
指标新鲜度趋势	s	指标新鲜度的变化趋势，并以 15 秒作为参考线，反映指标更新是否及时。正常情况下，指标新鲜度应保持平稳，并尽量低于 15 秒参考线。如果指标新鲜度持续高于参考线或不断升高，通常代表指标更新出现延迟，建议结合抓取成功率、抓取耗时及 kubelet 状态进一步排查。
Kubelet / 外部依赖
Kubelet 请求量	次/秒	按成功和失败结果展示每秒 kubelet 请求数（基于过去 5 分钟数据计算），反映抓取请求量及结果分布。正常情况下，请求量应随节点规模平稳变化，且成功请求应占主要部分。如果失败请求持续增加或总请求量异常波动，通常代表 kubelet 访问异常或抓取负载发生变化，建议检查网络连通性、kubelet 状态及组件抓取日志。
Kubelet 请求延迟	s	kubelet 请求耗时样本展示平均值和 P99 分位值（基于过去 5 分钟数据计算），反映请求处理效率及尾部延迟。正常情况下，平均延迟和 P99 应保持平稳，且 P99 通常高于平均值。如果平均延迟或 P99 持续升高，通常代表部分 kubelet 响应变慢，可能影响指标采集时效，建议检查节点负载、kubelet 状态及网络质量。
最近一次抓取延迟	s	按节点展示距最近一次 kubelet 抓取请求的时间间隔，反映各节点抓取任务是否持续运行。正常情况下，各节点的最近一次抓取延迟应接近配置的抓取周期，并保持平稳。如果某个节点的延迟持续升高，通常代表该节点长时间未被成功抓取，建议检查节点状态、kubelet 可用性及网络连通性。
Kubelet 请求成功率趋势	%	kubelet 请求成功率变化趋势（基于过去 5 分钟数据计算），反映节点指标抓取的稳定性。正常情况下，请求成功率应长期接近 100%，且曲线保持平稳。如果成功率持续下降或频繁波动，通常代表 Kubelet 请求出现异常，可能导致指标缺失或延迟，建议检查 kubelet 状态、网络连通性、证书及权限配置。

kube-proxy 监控

该看板用于查看核心组件 kube-proxy 的观测指标。支持设置查询的时间段，并指定刷新方式（手动刷新、自动刷新）。

在集群管理页面的左侧导航栏中，选择监控中心 > 监控看板。

在左侧看板列表中选择核心组件监控 > kube-proxy 监控，即可查看监控看板。

kube-proxy 监控看板详细的图表说明，如下表所示。

说明

图表对应 PromQL 语句的获取方式，请参见使用看板。

图表名称	单位	图表说明
Overview
Targets	个	统计当前时刻集群中可被监控系统发现的 kube-proxy 实例总数，反映组件的部署规模。正常情况下，该数值应与集群中需要运行 kube-proxy 的节点数一致，并随节点扩缩容同步变化。如果该数值异常减少或与预期节点数不一致，通常代表部分 kube-proxy 实例未运行或指标采集失败；建议检查异常节点上的 kube-proxy Pod 状态、ServiceMonitor 配置和监控采集目标。
Down Targets	个	统计当前时刻无法被监控系统正常采集的 kube-proxy 实例数，反映组件实例的可用性。正常情况下，该数值应为 0。如果该数值异常大于 0，通常代表一个或多个 kube-proxy 实例不可达、进程异常或指标采集链路中断；建议检查对应节点上的 kube-proxy Pod 状态、网络连通性和监控采集配置。
Max Network Programming P99	秒	统计各节点和 IP 协议族中网络规则编程耗时的 P99，基于过去 5 分钟采样计算，用于识别最慢的网络规则生效延迟。正常情况下，该数值应保持稳定，且不会持续出现明显升高。如果该数值异常升高或持续处于高位，通常代表部分节点写入网络规则变慢；建议检查对应节点的 CPU、内存和内核网络状态，并结合规则数量及 kube-proxy 日志定位原因。
Max Rule Sync P99	秒	统计各节点和 IP 协议族中代理规则同步耗时的 P99，基于过去 5 分钟采样计算，用于识别最慢的规则同步过程。正常情况下，该数值应保持稳定，规则变更后可在较短时间内回落。如果该数值异常升高或持续处于高位，通常代表部分节点同步 Service 或 Endpoint 规则变慢；建议检查规则规模、待处理变更数量、节点资源使用情况和 kube-proxy 日志。
Max FD Usage Ratio	%	统计当前时刻各节点 kube-proxy 进程已打开文件描述符占上限的比例，用于识别文件描述符耗尽风险。正常情况下，该比例应保持稳定，并与 100% 保持充足余量。如果该比例异常升高或接近 100%，通常代表某个 kube-proxy 进程打开的文件或连接持续增多；建议检查对应节点的连接规模、进程资源限制和 kube-proxy 日志，排查文件描述符泄漏。
Restarts (1h)	次	统计过去 1 小时内所有 kube-proxy 进程启动时间发生变化的总次数，用于判断组件是否频繁重启。正常情况下，该数值应为 0，组件升级或节点维护期间可能短暂增加。如果该数值异常增加或持续增长，通常代表 kube-proxy 进程反复重启；建议检查对应 Pod 的重启原因、退出码、事件、资源限制和节点状态。
Max Pending Endpoint Changes	个	统计当前时刻各节点等待同步的 Endpoint 变更数量，用于识别 Endpoint 规则处理积压。正常情况下，该数值应接近 0，并在 Endpoint 发生变更后快速回落。如果该数值异常升高或长时间不回落，通常代表部分节点处理 Endpoint 变更的速度不足；建议检查规则同步耗时、节点资源使用情况、Endpoint 变更频率和 kube-proxy 日志。
Max Pending Service Changes	个	统计当前时刻各节点等待同步的 Service 变更数量，用于识别 Service 规则处理积压。正常情况下，该数值应接近 0，并在 Service 发生变更后快速回落。如果该数值异常升高或长时间不回落，通常代表部分节点处理 Service 变更的速度不足；建议检查规则同步耗时、节点资源使用情况、Service 变更频率和 kube-proxy 日志。
Max Services Without Local Endpoints per Node	个	统计当前时刻各节点没有本地 Endpoint 的 Service 数量，用于识别本地流量策略可能无法转发流量的风险。正常情况下，该数值应符合采用 Local 流量策略的 Service 部署预期，并保持稳定。如果该数值异常升高，通常代表部分节点缺少可用的本地 Endpoint；建议检查相关 Service 的 externalTrafficPolicy 或 internalTrafficPolicy、Pod 调度分布、EndpointSlice 状态和 Pod 就绪状态。
REST QPS	req/s	统计 kube-proxy 调用 API Server 的每秒请求总数，基于过去 5 分钟采样计算，用于观察组件访问 Kubernetes API 的负载。正常情况下，该数值应与集群规模和资源变更频率相匹配，整体保持稳定。如果该数值异常升高或频繁波动，通常代表资源对象变化密集、客户端重试增多或组件行为异常；建议结合请求方法、响应状态码、API Server 负载和 kube-proxy 日志排查。
API 429/5xx Ratio	%	统计 kube-proxy 调用 API Server 时返回 429 或 5xx 响应的请求比例，基于过去 5 分钟采样计算，用于识别限流和服务端异常。正常情况下，该比例应为 0% 或保持在较低水平。如果该比例异常升高，通常代表 API Server 发生限流、过载或服务端错误；建议检查 API Server 的请求量、限流与资源使用情况，并结合状态码和 kube-proxy 日志定位异常请求。
Pod Resource Usage
Pod CPU Usage — Top 10	核	统计各 kube-proxy Pod 的 CPU 使用量并展示最高的 10 个 Pod，基于过去 5 分钟采样计算，用于定位 CPU 消耗较高的实例。正常情况下，各 Pod 的 CPU 使用量应相对稳定，且同规格节点之间差异不应长期过大。如果某些 Pod 的 CPU 使用量异常升高或持续位居前列，通常代表规则变更频繁、规则规模较大或进程处理压力增加；建议结合节点规模、规则同步耗时、资源限制和 kube-proxy 日志排查。
Pod Memory Working Set — Top 10	字节	统计当前时刻各 kube-proxy Pod 的内存工作集，并展示最高的 10 个 Pod，用于定位实际占用物理内存较高的实例。正常情况下，各 Pod 的内存工作集应相对稳定，并低于配置的内存限制。如果某些 Pod 的内存工作集异常增长或持续位居前列，通常代表规则规模扩大、缓存增长或存在内存泄漏风险；建议检查 Pod 内存限制、规则数量、进程重启情况和 kube-proxy 日志。
Rule Sync & Network Programming
Cluster Rule Sync Duration P50/P95/P99	秒	统计集群在不同 IP 协议族下代理规则同步耗时的 P50、P95 和 P99，基于过去 5 分钟采样计算，用于观察整体规则同步时延分布。正常情况下，各分位值应保持稳定，且 P50、P95、P99 依次增大但差距不会持续扩大。如果 P95 或 P99 异常升高，通常代表部分规则同步出现长尾延迟；建议检查规则规模、变更频率、节点资源使用情况、待处理变更数量和 kube-proxy 日志。
Cluster Network Programming Latency P50/P95/P99	秒	统计集群在不同 IP 协议族下网络规则编程耗时的 P50、P95 和 P99，基于过去 5 分钟采样计算，用于观察规则写入数据面的时延分布。正常情况下，各分位值应保持稳定，且高分位耗时不会持续显著偏离中位数。如果 P95 或 P99 异常升高，通常代表部分节点写入网络规则出现长尾延迟；建议检查节点资源、内核网络状态、规则规模和 kube-proxy 日志。
Top 10 Nodes by Rule Sync Duration P99	秒	统计各节点和 IP 协议族的代理规则同步耗时 P99，并展示最高的 10 个节点，基于过去 5 分钟采样计算，用于定位规则同步最慢的节点。正常情况下，各节点的 P99 耗时应相对稳定，同类节点之间差异不应长期过大。如果某些节点的 P99 耗时异常升高或持续位居前列，通常代表这些节点存在规则规模、资源或内核处理瓶颈；建议对比节点负载、待处理变更数量、规则数量和 kube-proxy 日志。
Top 10 Nodes by Network Programming Latency P99	秒	统计各节点和 IP 协议族的网络规则编程耗时 P99，并展示最高的 10 个节点，基于过去 5 分钟采样计算，用于定位数据面规则生效最慢的节点。正常情况下，各节点的 P99 耗时应相对稳定，同类节点之间差异不应长期过大。如果某些节点的 P99 耗时异常升高或持续位居前列，通常代表这些节点写入网络规则较慢；建议检查节点 CPU、内存、内核网络状态、规则规模和 kube-proxy 日志。
Average Endpoint/Service Change Rate per Instance	次/秒	分别统计各 kube-proxy 实例每秒处理的 Endpoint 和 Service 变更次数，并计算当前时刻所有实例的平均值，速率基于过去 5 分钟采样计算，用于观察单实例的平均规则变更压力。正常情况下，两类变更速率应与业务发布和扩缩容活动相匹配，并在变更结束后回落。如果变更速率异常升高或长时间维持高位，通常代表 Service、Endpoint 或 EndpointSlice 频繁变化；建议检查工作负载发布、Pod 就绪状态、弹性伸缩活动和相关控制器事件。
Pending Endpoint/Service Changes — Top 10 per Type	个	统计当前时刻各节点等待同步的 Endpoint 和 Service 变更数量，并分别展示最高的 10 个节点，用于定位规则变更积压节点。正常情况下，两类待处理变更数量应接近 0，并在资源变化后快速回落。如果某些节点的待处理数量异常升高或长时间不回落，通常代表这些节点的规则同步能力不足或同步过程异常；建议检查规则同步耗时、节点资源、资源变更频率和 kube-proxy 日志。
Top 10 Nodes by Time Since Last Successful Sync	秒	统计当前时刻各节点和 IP 协议族距最近一次成功完成代理规则同步的时间，并展示间隔最长的 10 个节点，用于识别长时间未成功同步的实例。正常情况下，该数值会随规则同步周期性回落，不应持续增长。如果某些节点的间隔异常增大或持续增长，通常代表 kube-proxy 长时间未成功同步规则；建议检查对应实例状态、规则同步错误、API Server 连通性和 kube-proxy 日志。
Services Without Local Endpoints — Top 10 Node/Policy Combinations	个	统计当前时刻各节点、IP 协议族和流量策略组合中没有本地 Endpoint 的 Service 数量，并展示最高的 10 个组合，用于定位本地流量转发风险。正常情况下，该数值应符合 Local 流量策略的部署预期，并随 Pod 分布保持稳定。如果某些组合的数值异常升高，通常代表相关节点缺少就绪的本地 Endpoint；建议检查 Service 流量策略、Pod 调度分布、EndpointSlice 状态和 Pod 就绪状态。
Stale UDP Conntrack Entries Deleted (1h) — Top 10 Node/IP Family Combinations	个	统计过去 1 小时内各节点和 IP 协议族删除的失效 UDP Conntrack 条目数量，并展示最高的 10 个组合，用于观察连接跟踪表清理压力。正常情况下，该数值应与 UDP 业务流量和后端变更规模相匹配，不会无业务变化地持续激增。如果该数值异常升高，通常代表 UDP 后端频繁变化、失效连接跟踪条目大量积累或网络抖动；建议检查 UDP Service 与 Pod 变更、Conntrack 使用情况和节点网络状态。
Cluster Conntrack Reconciliation Duration P99	秒	统计集群在不同 IP 协议族下 Conntrack 协调耗时的 P99，基于过去 1 小时采样计算，用于观察失效 UDP 连接跟踪条目清理的长尾耗时。正常情况下，该数值应保持稳定，不会持续出现明显升高。如果该数值异常升高或持续处于高位，通常代表 Conntrack 表规模较大、清理压力增加或节点网络处理变慢；建议检查 Conntrack 表使用量、UDP 业务变化、节点资源和内核网络状态。
API Server Requests
API Server Request Rate by Method/Status Code	次/秒	按请求方法和响应状态码统计 kube-proxy 调用 API Server 的每秒请求数，基于过去 5 分钟采样计算，用于分析请求构成和错误响应来源。正常情况下，请求速率应与集群资源变更频率相匹配，成功状态码占主导。如果请求速率或异常状态码对应的请求数异常升高，通常代表资源变化密集、客户端重试、API Server 限流或服务端异常；建议结合方法、状态码、API Server 负载和 kube-proxy 日志排查。
API Server 429/5xx Response Ratio	%	分别统计 kube-proxy 调用 API Server 时 429 和 5xx 响应占全部请求的比例，基于过去 5 分钟采样计算，用于区分限流与服务端故障。正常情况下，两类响应比例都应为 0% 或保持在较低水平。如果 429 或 5xx 比例异常升高，通常代表 API Server 出现限流、过载或服务端错误；建议检查 API Server 请求量、限流配置、资源使用情况及对应状态码日志。
IPVS Data Plane
Top 10 Nodes by IPVS Connection Rate	次/秒	统计各节点新建 IPVS 连接的每秒速率，并展示最高的 10 个节点，基于过去 5 分钟采样计算，用于定位连接建立压力较高的节点。正常情况下，该速率应与业务访问量变化一致，不会在流量稳定时持续异常升高。如果某些节点的连接速率异常升高或持续位居前列，通常代表流量突增、短连接增多或负载分布不均；建议检查业务流量、连接复用、Service 后端分布和节点网络状态。
Top 10 Nodes by IPVS Packet Rate (In/Out)	包/秒	分别统计各节点 IPVS 入方向和出方向的每秒数据包数，并展示最高的 10 个节点，基于过去 5 分钟采样计算，用于观察节点转发包速率。正常情况下，入方向和出方向包速率应随业务流量同步变化，整体趋势相对匹配。如果某些节点的包速率异常升高、骤降或入出方向长期明显不匹配，通常代表流量突增、丢包、转发异常或负载分布不均；建议检查业务流量、网卡与丢包指标、IPVS 规则和节点网络状态。
Top 10 Nodes by IPVS Throughput (In/Out)	字节/秒	分别统计各节点 IPVS 入方向和出方向的每秒传输字节数，并展示最高的 10 个节点，基于过去 5 分钟采样计算，用于观察节点数据面吞吐量。正常情况下，入方向和出方向吞吐量应随业务流量同步变化，并与节点容量相匹配。如果某些节点的吞吐量异常升高、骤降或入出方向长期明显不匹配，通常代表流量突增、网络拥塞、转发异常或负载分布不均；建议检查业务流量、网卡带宽与错误指标、IPVS 规则和节点网络状态。

查看指标

如需查询集群中的已接入/未接入指标，或查询指标的具体含义，请参见指标查询。

支持使用托管 Prometheus 的 Explore 功能来快速查询和展示指标数据。详情请参见指标查询。

最近更新时间：2026.10.16 15:59:49

这个页面对您有帮助吗？

有用

无用