容器服务
容器服务
容器服务
文档指南
请输入
容器服务 VKE
产品动态
Kubernetes 版本发布记录
组件发布记录
监控组件
DNS 组件
GPU 组件
Sandbox 组件
安全公告
产品公告
历史公告
用户指南
集群
节点池
授权
网络
容器网络
服务（Service）
路由（Ingress）
APIG Ingress
ALB Ingress
自定义转发规则配置示例
CLB Ingress
Nginx Ingress
Gateway API
工作负载
存储
数据管理中心（DMC）
对象存储（TOS）
FSX 访问方式
文件存储（NAS）
FSX 访问方式
弹性文件存储（EFS）
文件存储（vePFS）
FSX 访问方式
vePFS Client 访问方式
NFS 访问方式
大数据文件存储（CloudFS）
弹性伸缩
工作负载弹性伸缩
事件驱动伸缩（KEDA）
组件管理
网络组件
监控组件
DNS 组件
GPU 组件
Sandbox 组件
异构计算
调度管理
可观测性
基础观测
诊断与巡检
最佳实践
网络
可观测性
安全合规
API 参考
集群管理
节点池管理
组件管理
机型镜像管理
云原生观测
巡检诊断
弹性容器实例
附录
开发指南
常见问题
通用 FAQ
集群 FAQ
集群管理
集群升级
节点与节点池 FAQ
授权 FAQ
工作负载 FAQ
服务与路由 FAQ
存储 FAQ
弹性伸缩 FAQ
可观测性 FAQ
配额 FAQ
组件 FAQ
容器镜像 FAQ
AI 云原生
推理套件
Helm 模板 AI 应用
Deepseek 实践
Qwen 实践
最佳实践
MiniMax 模型部署
Qwen 模型部署
弹性容器实例 VCI
最新动态
用户指南
虚拟节点
VKE 集群使用虚拟节点
自建/跨云集群使用虚拟节点
创建 VCI 实例
VCI Agent Sandbox
安全合规
- 文档首页
容器服务AI 云原生推理套件AI 应用观测
复制全文
下载 pdfAI 应用观测
文档反馈
问问助手ServingKit 支持通过云原生基础观测和深度观测能力，自定义配置 AI 应用观测看板。基础观测提供 AI 资源及推理服务的监控指标，深度观测提供推理应用的全链路性能监控服务。
本文以基于 SGLang 的 AI 应用为例，为您介绍自行实现 AI 应用观测看板的方法。
基础观测
- 登录 容器服务控制台。
- 在集群管理页面的左侧导航栏，选择 集群，并在集群列表中找到部署 AI 应用的异构计算集群，单击集群名称。
- 开启观测后，SGLang 的应用指标会被采集到托管 Prometheus（VMP）服务，您可以在托管 Prometheus 控制台中使用 Explore 查询指标，示例如下：
-
- 您可以使用 VMP 预置面板查看 SGLang 应用监控，在 VMP 服务控制台，选择 监控看板，搜索sglang，可查看到如下示例所示的 SGLang 应用看板：
-
- 您也可以自建 Grafana，并搭建 SGLang 的监控看板。操作方式请参见 在容器服务集群中部署 Grafana 并接入工作区。
- 登录上述 Grafana ，选择导入如下看板 JSON 文件：
- 导入后效果如图所示：
-
-
深度观测
- 登录 应用性能监控全链路版控制台，左侧导航栏选择 服务端监控。
- 搜索以sglang为关键字的服务，单击服务名，进入观测看板页面。
- 查看指标。
- LLM 指标。
- 在 服务总览、LLM性能、Token用量 等页签，可查看大模型核心指标与服务黄金指标，例如：大模型调用次数、Token 使用量、响应耗时、TTFT、TPOT、QPS、请求错误率等。
说明
TTFT、TPOT 指标需要流式调用才会产生相应指标。
- 流式调用示例如下：
- curl localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "/data/models/DeepSeek-R1","messages": [{"role": "user","content": "hello"}],"stream": true,"stream_options": {"include_usage": true,"continuous_usage_stats": true}}'
-
- 运行时指标
- 在 运行时监控 页签，可查看运行时相关监控信息，例如：CPU 耗时、CPU 使用率、内存使用、GC 对象数量、线程数量、上下文切换数量等。
-
- 查看链路分析。
- 从 SGLang 应用的 Trace 分析页签，可以根据不同条件检索链路信息。单击目标 Trace ID，前往单链路详情页面。在列表视图中查看 Trace 信息。
-
最近更新时间：2026.04.03 11:47:08
这个页面对您有帮助吗？
有用
有用
无用
无用