文档中心

全栈可观测平台

通用 AI 应用监控

AI 应用监控概述

随着 AI 和大模型的爆火，AI 应用架构向分布式、异构化深度演进，模型推理链路由单一节点扩展至数据预处理、多模态融合等复杂链路，传统观测手段难以应对动态拓扑下的性能波动与故障定位，全链路观测成为追踪跨组件数据流转异常、实现推理性能瓶颈精准定位的核心刚需。应用性能监控已经适配主流智能体和推理框架，不仅支持 AI 大模型场景下的根因分析，而且支持采集 AI 场景下的黄金指标，实现了 AI 全场景覆盖和 LLM 全方位支持，保障大模型应用的高可用性与成本优化。

核心功能

AI 应用监控支持对 AI 应用进行全链路的观测和监控。通过接入 AI 应用监控埋点，可以实现以下功能：

指标（Metrics）：采集服务 RED 指标和 Gen_AI 相关指标，例如：Token 消耗、TTFT、TPOT 等监控应用性能表现。

链路追踪（Tracing）：记录 AI 应用执行过程中的关键路径和中间状态。

日志采集（Log）: 自动采集日志，并与链路进行关联分析。

M, T, L 一体化：对指标（Metrics）、链路（Tracing）、日志（Log）进行关联分析。

可视化分析：通过控制台使用多维检索、拓扑生成、自定义看板等高级功能。

洞察分析：基于洞察规则对会话进行批量分析。

接入方式

应用性能监控已经针对 AI 应用的不同语言、不同部署方式进行适配，以确保用户能够快速，低成本的完成接入。接入说明和最佳实践如下：

语言/服务/框架	接入说明	最佳实践
Python	针对使用 Python 语言开发的 AI 应用，例如：使用 LangChain、OpenAI 等框架的 AI 应用，可使用应用性能监控自动埋点技术完成接入。详细说明参见：Python 应用接入。	VeADK 智能体链路监控
Nodejs	针对使用 Nodejs 语言开发的 AI 应用，例如：使用 OpenAI 等框架的 AI 应用。可使用应用性能监控自动埋点技术完成接入。详细说明参见：Nodejs 应用接入。	/
GoLang	针对使用 GoLang 语言开发的 AI 应用，推荐参考 GoLang 应用接入进行接入。	Eino 接入 Eino-Assistant 应用上报观测数据
veFaaS 服务	火山引擎函数服务（veFaaS）与应用性能监控全深度集成，部署在 veFaaS 的函数只需开启应用监控，即可实现函数监控数据的自动接入。实现自动收集 Trace 信息、生成 Metric 指标，并支持调用链检索、日志检索等高级功能。详细说明参见：一键开启函数服务应用监控。	MaaS 高代码链路监控
vLLM	vLLM 是专为大型语言模型（LLM）推理和部署设计的开源框架，旨在优化和加速大型语言模型的使用，特别是针对此类模型的高效推理。使用应用性能监控无缝监控 vLLM 推理引擎，将 vLLM 中的观测数据上报到应用性能监控，分析对话并深入了解 LLM。	vLLM 推理引擎链路监控
AgentKit 应用	AgentKit 是火山引擎为 AI Agent 构建、部署、运行提供的企业级基础开发工具平台，可以为 AI Agent 提供灵活开放、模块化的组件能力支持，通过统一运行环境、整合资源调度和构建安全保障机制，帮助开发者和企业快速构建、部署和管理 Agent。 AI 应用监控无缝接入 AgentKit，全方位观测 AgentKit 中的运行时、Memory，以及 AI Agent 相关数据，方便查看 AgentKit 和 AI Agent 的健康状态，快速定位故障。	快速上手 AgentKit

最近更新时间：2026.09.16 10:23:29

这个页面对您有帮助吗？

有用

无用