文档中心

托管 Prometheus

接入指南

Dynamo 接入

托管 Prometheus 支持监控部署在容器服务（VKE）集群中的 Dynamo 实例。

背景信息

NVIDIA Dynamo 是一个专为 LLM 场景设计的开源、高吞吐、低延迟分布式推理框架，用于在分布式环境中服务生成式 AI 模型。具备 PD 分离部署、高性能数据传输协议、分布式 KV Cache、KV Cache 感知流量调度、KV Cache 多级卸载、GPU 动态调度等核心功能，旨在解决大规模推理部署中的效率和成本问题。

您可以使用托管 Prometheus 对部署在容器服务（VKE）集群中的 Dynamo 实例进行监控，实现关键指标的预警与优化。

前提条件

托管 Prometheus

已创建托管 Prometheus 工作区，详情请参见创建工作区。

容器服务

已注册并开通容器服务。

已创建集群，详情请参见创建集群。

已在集群中部署 Dynamo 实例。

已在集群中开启云原生观测功能，并安装 prometheus-agent 组件，详情请参见开启观测。

说明

托管 Prometheus 工作区和 VKE 集群必须处于相同地域。

操作步骤

配置接入任务

在顶部导航栏，选择目标地域。

在左侧导航栏中选择接入中心 > 组件，单击 Dynamo，配置接入任务。

配置采集器的部署环境。选择 VKE 环境，并选择关联集群。

单击创建接入任务，配置接入任务的详情。

配置项	说明
基础信息
任务名称	配置接入任务的名称。支持中文、英文大小写、数字和下划线_，取值范围为 1～40 个字符。
项目	实例所属项目。项目管理是火山引擎提供的一种资源管理方式，可以对不同业务或项目使用的云资源进行分组管理。基于项目进行 IAM 授权，有利于维护资源独立、数据安全，同时可从项目维度查看资源消费账单，便于计算云资源使用成本。更多详细介绍参见：项目管理。
标签	实例附带的资源标签。资源标签由一组 KV 键值对组成，可以通过资源标签从不同维度对云资源进行分类和聚合管理，并且使用于标签制授权和资源分账等场景。更多详细介绍参见：标签管理。说明最多添加 50 个标签。
采集配置
指标采集间隔	配置采集器的采集间隔。
JobLabel	支持从 Kubernetes Pod 对象中选取标签，该标签值将作为所有指标的 job 标签。例如，若 jobLabel 设为foo，且 Pod 标签为foo: bar，则系统会为所有采集到的指标指标添加job="bar"标签。若该字段为空，则指标的 job 标签默认为 PodMonitor 对象的命名空间和名称，格式为<namespace>/<name>。
命名空间	配置采集目标在集群中部署的命名空间。取值：任意：表示可以采集集群中任意命名空间中的资源指标。自定义：选择该选项时，允许配置集群中的命名空间。表示仅支持采集指定命名空间中的资源指标。例如：配置为default时，表示只能采集 default 命名空间中的资源指标。
LabelSelector	使用 Kubernetes Pod 对象的标签进行采集目标选择。