控制面观测允许您通过预置的监控看板和审计日志，查看集群控制面运行状态并排查请求异常。本文介绍查看集群资源与控制面服务监控数据，以及使用审计日志定位异常请求的方法。 ## 控制面 Scaling 水位 ### 背景信息容器服务支持预置控制面规格，适用于 AI 训练与推理、大规模集群及对控制面响应延迟敏感的关键业务场景。选择预置控制面规格后，您可以通过本看板查看 API Server、ETCD 和 Scheduler 等控制面组件的 CPU、内存等资源利用率与负载变化，判断当前规格是否符合业务预期，并为业务高峰前的容量评估、手动升降配及自动升配配置提供参考。更多详情，请参见 [预置控制面](https://docs.volcengine.com/docs/6460/2684941?lang=zh)。 ### 前提条件 * 已开启云原生观测功能，详情请参见 [开启观测](https://www.volcengine.com/docs/6460/1213992)。 * 已开启控制面服务观测，并启用 API Server、Scheduler、ETCD 等控制面组件的指标采集。详情请参见 [控制面服务观测](https://docs.volcengine.com/docs/6460/1214007?lang=zh)。 ### 操作步骤 1. 登录 [容器服务控制台](https://console.volcengine.com/vke)。 2. 在左侧导航栏中，选择 **集群**，单击目标集群名称，进入集群管理页面。 3. 在左侧导航栏中，选择 **总览**，并在 **总览** 页面选择 **控制面可观测** 页签，查看集群控制面 Scaling 水位看板。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_858e7ab2c5faf6ef13b97556270e3d2e.png) 控制面 Scaling 水位监控看板详细的图表说明，如下表所示。

说明

图表对应 PromQL 语句的获取方式，请参见使用看板。

|图表名称 |单位 |图表说明 | |---|---|---| |API 请求并发数 |Seats |当前时刻 API Server 正在执行的请求所占用的并发席位数，按查询结果中的标签维度分别展示，用于反映 API 请求对控制面并发处理资源的占用情况。

* 正常情况下，并发席位占用随 API 请求量变化，并在业务基线范围内波动。

* 如果并发席位占用异常升高或长时间处于高位，通常代表 API 请求集中增加、单个请求占用较多并发资源或请求处理速度下降；建议检查高频调用方、API Server 请求延迟、限流情况和相关组件日志。 | |Pod 调度速率 |个/秒 |当前时刻 Pod 成功调度的速率，反映 Scheduler 的调度负载。

* 正常情况下，Pod 调度速率随工作负载创建和扩缩容活动平稳变化，并与业务操作趋势相符。

* 如果调度速率异常降低或持续为 0，通常代表待调度 Pod 减少，也可能存在资源不足、调度约束冲突或 Scheduler 处理异常；建议结合待调度 Pod 数量、调度失败指标、资源余量和 Scheduler 日志判断。 | |集群数据库大小 |GiB |当前时刻 ETCD 数据库实际使用的存储空间，按查询结果中的实例等标签维度分别展示，用于反映控制面数据的存储规模和增长趋势。

* 正常情况下，数据库大小随集群资源对象数量和变更历史逐步变化，整体趋势与业务规模相符。

* 如果数据库大小异常增长或持续快速上升，通常代表资源对象数量激增、历史版本累积或数据清理不及时；建议检查资源对象规模、异常控制器行为、etcd 压缩与碎片整理状态，以及相关告警和日志。 | ## 集群资源与控制面服务监控 ### 背景信息控制面服务监控面向集群控制面的运行状态的常见异常场景，提供了多种类型的控制面关键资源和组件的核心看板，便于您快速了解控制面运行状态，帮助您快速掌握控制面的整体健康状态。主要涉及的监控对象和内容，如下表所示。 |监控对象 |主要监控内容 | |---|---| |API Server 负载和错误 |提供请求 QPS（总量、读写分布）、限流（429）请求速率、4xx 和 5xx 错误请求速率等指标。帮助您判断 API Server 当前承载的请求压力，识别主要请求类型，以及快速发现客户端配置错误（4xx）或服务端内部异常（5xx）；限流指标可辅助定位高频请求来源，避免 API Server 过载影响整个集群。 | |控制面组件资源占用 |提供各控制面组件（API Server、Scheduler 等）的 CPU 和内存使用率实时数据。帮助您提前发现资源瓶颈，例如在请求激增或节点规模扩大时，判断是否需要调整控制面资源规格，避免因资源不足导致集群响应变慢甚至不可用。 | |ETCD 存储规模 |提供 ETCD 数据库的存储占用总量，以及各类 Kubernetes 资源对象（按类型）的数量分布。帮助您评估集群规模增长趋势；当存储快速膨胀时，可定位是哪类资源（如 ConfigMap、Secret、自定义资源等）大量堆积，及时清理，防止 ETCD 存储溢出引发集群稳定性风险。 | |调度吞吐量 |提供 Scheduler 单位时间内的调度尝试次数，并按调度结果（成功、失败、不可调度）细分展示。帮助您判断集群调度能力是否满足业务需求；当失败或不可调度数量持续上升时，可快速定位是资源不足、节点污点/亲和性配置冲突还是调度器自身处理异常，缩短排查时间。 | |Webhook 健康状况 |提供准入 Webhook 的调用量、请求延迟（P90）和拒绝请求数。Webhook 是集群资源创建链路上的关键环节，延迟过高或拒绝率上升会直接阻塞 Pod 创建和资源变更。通过这组指标可及时发现 Webhook 性能下降或配置错误，快速判断是否需要扩容 Webhook 服务或修复规则配置。 |

说明

如需查询更多控制面指标和监控看板，请参见控制面服务观测。

### 前提条件 * 已开启云原生观测功能，详情请参见 [开启观测](https://www.volcengine.com/docs/6460/1213992)。 * 已开启控制面服务观测，并启用 API Server、Scheduler、ETCD 等控制面组件的指标采集。详情请参见 [控制面服务观测](https://docs.volcengine.com/docs/6460/1214007?lang=zh)。 ### 操作步骤 1. 登录 [容器服务控制台](https://console.volcengine.com/vke)。 2. 在左侧导航栏中，选择 **集群**，单击目标集群名称，进入集群管理页面。 3. 在左侧导航栏中，选择 **总览**，并在 **总览** 页面选择 **控制面可观测** 页签，查看集群控制面服务监控看板。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_0ab17cea4ab5db23a331f42244e65b7d.png) 控制面服务监控看板详细的图表说明，如下表所示。

说明

图表对应 PromQL 语句的获取方式，请参见使用看板。

|图表名称 |单位 |图表说明 | |---|---|---| |APIServer 请求 QPS |req/s |API Server 每秒接收的请求总数、读请求数和写请求数，反映集群 API 的访问负载。

* 正常情况下，请求 QPS 在业务基线范围内平稳波动。

* 如果请求 QPS 持续突增，可能表示业务请求激增或客户端异常重试；请求 QPS 突然下降，可能表示客户端访问或服务异常。 | |APIServer 限流（429）请求 |req/s |API Server 返回 429 状态码（限流）瞬时速率（基于过去 1 分钟范围内最后两个样本计算），反映请求被限流的情况。

* 正常情况下，限流请求数为 0 或仅偶发出现。

* 如果限流请求数持续大于 0 或明显升高，表示请求速率超过当前限流阈值，需排查高频请求来源和流量控制配置。 | |控制面组件 CPU 使用率 |% |当前时刻控制面组件的 CPU 使用率，反映控制面组件的计算资源负载。

* 正常情况下，CPU 使用率在业务基线范围内平稳波动，且未长时间接近 100%。

* 如果 CPU 使用率持续处于高位或突增，可能表示控制面请求量增加或组件处理压力增大。 | |APIServer 4XX 请求 |req/s |过去 1 分钟采样计算 API Server 返回 4xx 状态码（客户端错误）的每秒请求速率，反映客户端请求未成功完成的情况，可能涉及认证授权、资源不存在、资源冲突、参数校验或限流等原因。

* 正常情况下，4xx 请求量应保持在较低水位，偶发波动属正常现象。

* 如果 4xx 请求量持续升高，通常说明某些客户端存在配置错误或权限异常，建议结合 K8s 审计洞察中的 HTTP 4XX 查询场景，定位高频错误来源并排查请求内容。 | |APIServer 5XX 请求 |req/s |过去 1 分钟采样计算 API Server 返回 5xx 状态码（服务端错误）的每秒请求速率，反映 API Server 或其后端依赖未能成功处理请求的情况。

* 正常情况下，5xx 请求量应接近于 0，偶发极低频出现属正常现象。

* 如果 5xx 请求量持续出现或突增，说明 API Server 可能存在内部错误，建议结合 K8s 审计洞察中的 HTTP 5XX 查询场景，定位触发服务端错误的请求来源，并检查控制面组件资源使用情况。 | |控制面组件内存使用率 |% |当前时刻各控制面组件的内存使用率，反映控制面的内存资源占用情况。

* 正常情况下，各组件内存使用率应保持平稳，无大幅波动。

* 如果内存使用率持续升高或接近上限，可能表明控制面组件正在处理大量请求或存在内存泄漏风险，建议结合请求量指标综合判断，并考虑是否需要调整资源规格。 | |调度吞吐量 (Pods/s) |req/s |Scheduler 每秒的调度尝试次数，并按调度结果分类，反映 Pod 调度吞吐量和结果分布。

* 正常情况下，成功调度的吞吐量随 Pod 创建量变化，失败或不可调度的尝试较少。

* 如果失败或不可调度的尝试持续增加，可能表示集群资源不足、调度约束冲突或调度器处理异常。 | |资源对象大小 |Bytes |集群 ETCD 数据库中不同资源对象的存储占用总量，反映集群资源对象的整体存储规模。

* 正常情况下，ETCD 存储量应与集群内资源对象的数量和大小相符，增长趋势平稳。

* 如果存储量持续快速增长，可能表明集群中存在大量未清理的资源对象，或某类对象的数据体积异常膨胀，建议结合资源对象数量图表排查增长来源，并及时清理无用资源。 | |资源对象数量 |\- |集群中不同资源类型的对象数量，并展示对象数量最多的前 50 类资源，反映资源对象的规模分布。

* 正常情况下，各类资源对象数量与业务规模相符，变化趋势平稳。

* 如果某类资源对象数量快速增长或明显超过业务预期，可能表示资源未及时清理或控制器重复创建资源。 | |Webhook 请求 |req/s |API Server 每秒调用准入 Webhook 的请求数，反映准入 Webhook 的调用负载。

* 正常情况下，请求数随资源创建和更新操作平稳变化。

* 如果请求数持续突增，可能表示资源变更操作激增或客户端频繁重试。 | |Webhook 延迟 |毫秒 |过去 1 分钟内准入 Webhook 请求延迟的 P90 值，反映大多数准入请求的处理耗时。

* 正常情况下，P90 延迟在业务基线范围内保持稳定。

* 如果 P90 延迟持续升高，可能表示 Webhook 服务响应变慢、网络异常或处理压力增大。 | |Webhook 拒绝请求 |req/s |API Server 每秒被准入 Webhook 拒绝的请求数，并按错误类型分类，反映准入校验失败情况。

* 正常情况下，拒绝请求数为 0 或仅出现符合预期的少量拒绝。

* 如果拒绝请求数持续增加，表示资源请求未通过准入校验，需结合错误类型排查 Webhook 配置、策略或服务状态。 | ## 审计日志 ### 背景信息在集群中开启审计功能后，系统会将审计日志上传至 [日志服务（TLS）](https://docs.volcengine.com/docs/6470/73638?lang=zh)进行存储和查询。为方便您快速定位 API Server 请求异常，系统在控制面观测功能中预设了如下查询场景，覆盖 API Server 常见异常情况。无需您手动编写日志查询语句，即可快速完成控制面请求的诊断与定位。 |预设事件 |说明 | |---|---| |请求量最高客户端 |展示在指定时间范围内向 API Server 发起请求次数最多的客户端排名。帮助您快速识别高频调用方；当 API Server 出现负载过高或限流时，可直接定位是哪个组件或应用请求量最高，为后续限速或优化提供明确目标。 | |慢请求 |按请求耗时从高到低排列，展示处理时间最长的 API Server 请求。帮助您发现延迟异常的操作类型和调用来源；当用户反馈集群操作响应慢时，可快速定位是哪类请求拖慢了整体响应，辅助排查控制面性能瓶颈。 | |HTTP 4XX |统计返回 4xx 状态码（客户端错误，如权限不足 403、资源不存在 404）最多的请求来源。帮助您快速发现配置错误或权限异常的调用方；4xx 持续累积通常意味着某个组件或用户使用了错误的 API 调用方式，及时修复可减少无效请求对 API Server 的额外压力。 | |限流请求 |展示因超出 API Server 速率限制（429）而被拦截次数最多的客户端。帮助您判断哪些组件或应用正在对控制面造成请求压力；限流不仅影响该客户端自身，还会挤占其他组件的请求配额，通过此场景可精准定位压力源，指导流量管控或客户端请求优化。 | |HTTP 5XX |统计触发 5xx 状态码（服务端错误）最多的请求来源和操作类型。帮助您识别可能导致控制面不稳定的操作模式；5xx 通常意味着 API Server 内部处理出现异常，通过定位高频触发来源，可快速判断是特定操作导致的问题还是控制面整体异常，缩短故障定位时间。 |

说明

如需查询更多集群审计事件，您可以跳转至日志服务（TLS）进行详细查询。详情请参见检索分析。

### 前提条件已开启集群审计功能，详情请参见 [集群审计](https://docs.volcengine.com/docs/6460/195545?lang=zh)。 ### 操作步骤 1. 登录 [容器服务控制台](https://console.volcengine.com/vke)。 2. 在左侧导航栏中选择 **集群**，单击目标集群名称，进入集群管理页面。 3. 在左侧导航栏中选择 **总览**，并在 **总览** 页面选择 **控制面可观测** 页签，查看集群预设审计日志。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_1df42ca3936f62938891f52f26f9c844.png)