文档中心

托管 Prometheus

接入指南

vLLM 接入

托管 Prometheus 支持监控部署在容器服务（VKE）集群中的 vLLM 实例。

背景信息

vLLM 是专为大型语言模型（LLM）推理和部署设计的开源框架，支持 Llama、GPT 等主流模型，兼容 GPTQ、AWQ 量化技术及多机多卡扩展，还提供 OpenAI 兼容 API。vLLM 旨在优化和加速大型语言模型的使用，借鉴操作系统虚拟内存思想，以创新的内存管理技术重构 LLM 推理效率，将 KV Cache 切分为动态分配的内存页，使显存利用率从传统框架的 60% 提升至 95% 以上，为高并发场景提供核心支撑。

您可以使用托管 Prometheus 对部署在容器服务（VKE）集群中的 vLLM 实例进行监控，实现关键指标的预警与优化。

前提条件

托管 Prometheus

已创建托管 Prometheus 工作区，详情请参见创建工作区。

容器服务

已注册并开通容器服务。

已创建集群，详情请参见创建集群。

已在集群中部署 vLLM 实例。

已在集群中开启云原生观测功能，并安装 prometheus-agent 组件，详情请参见开启观测。

说明

托管 Prometheus 工作区和 VKE 集群必须处于相同地域。

操作步骤

配置接入任务

在顶部导航栏，选择目标地域。

在左侧导航栏中选择接入中心 > 组件，单击 vLLM，配置接入任务。

配置采集器的部署环境。选择 VKE 环境，并选择关联集群。

单击创建接入任务，配置接入任务的详情。

配置项	说明
基础信息
任务名称	配置接入任务的名称。支持中文、英文大小写、数字和下划线_，取值范围为 1～40 个字符。
项目	实例所属项目。项目管理是火山引擎提供的一种资源管理方式，可以对不同业务或项目使用的云资源进行分组管理。基于项目进行 IAM 授权，有利于维护资源独立、数据安全，同时可从项目维度查看资源消费账单，便于计算云资源使用成本。更多详细介绍参见：项目管理。
标签	实例附带的资源标签。资源标签由一组 KV 键值对组成，可以通过资源标签从不同维度对云资源进行分类和聚合管理，并且使用于标签制授权和资源分账等场景。更多详细介绍参见：标签管理。说明最多添加 50 个标签。
采集配置
JobLabel	支持从 Kubernetes Pod 对象中选取标签，该标签值将作为所有指标的 job 标签。例如，若 jobLabel 设为foo，且 Pod 标签为foo: bar，则系统会为所有采集到的指标指标添加job="bar"标签。若该字段为空，则指标的 job 标签默认为 PodMonitor 对象的命名空间和名称，格式为<namespace>/<name>。
指标采集间隔	配置采集器的采集间隔。
命名空间	配置采集目标在集群中部署的命名空间。取值：任意：表示可以采集集群中任意命名空间中的资源指标。自定义：选择该选项时，允许配置集群中的命名空间。表示仅支持采集指定命名空间中的资源指标。例如：配置为default时，表示只能采集 default 命名空间中的资源指标。
指标采集端口	配置采集目标的指标端口，支持配置为端口名称或端口号。
指标采集路径	配置采集目标的指标路径。
LabelSelector	使用 Kubernetes Pod 对象的标签进行采集目标选择。
高级配置
Metric Relabel 配置	配置采集指标 Relabel，详情请参见指标 Relabel。