AI 应用监控针对大模型（LLM）的训练、推理和智能体场景提供一套埋点监控方案，涵盖分布式追踪（Tracing）和指标监控（Metrics）两大核心模块。这些埋点信息将随 OpenTelemetry 社区的发展而不断更新和优化，本文为您具体介绍埋点相关的详细信息。

Span Attributes

针对大模型的 Trace Span，添加额外 Gen AI attributes 以记录追踪大模型耗时、Token 消耗数等。主要包括以下字段：

模型与请求元数据

输入输出内容

Attribute	类型	描述	示例
gen_ai.prompt.{index}.role	string	输入消息中的角色，例如：用户、系统。	"user","system"
gen_ai.prompt.{index}.content	string	输入消息中的内容。	"介绍下你自己"
gen_ai.completion.{index}.role	string	输出消息中的角色，例如：助手。	"assistant"
gen_ai.completion.{index}.content	string	输出消息中的内容。	"我是豆包..."
gen_ai.response.finish_reason	string	生成完成原因，例如：stop, length。	"stop"
gen_ai.response.stop_reason	string	具体停止条件，例如：触发的停止序列。	"\n"

Token 使用统计

Attribute	类型	描述	示例
gen_ai.usage.input_tokens	int	输入 Token 数量。	1024
gen_ai.usage.output_tokens	int	输出 Token 数量。	512
gen_ai.usage.total_tokens	int	总 Token 数量。总Token 数量 = 输入 Token 数量 + 输出 Token 数量。	1536
gen_ai.usage.cache_creation_input_tokens	int	缓存创建时的输入 Token 数。	2048
gen_ai.usage.cache_read_input_tokens	int	缓存读取时的输入 Token 数。	1024

流式处理与性能指标

Attribute	类型	描述	示例
gen_ai.is_streaming	bool	是否为流式请求。	true
gen_ai.chat_completions.streaming_time_to_first_token	float	首 Token 延迟（秒），适用于 streaming 场景。	0.3
gen_ai.chat_completions.streaming_time_per_output_token	float	单个输出 Token 的平均生成耗时（秒），适用于 streaming 场景。	0.02

用户与会话信息

Metrics

为更好统计大模型的性能和 Token 消耗数，针对大模型记录了相关 Metrics 指标，可以在 AI 应用监控界面上查看，也可以在自定义大盘构建大盘。大模型指标 Label 如下：

维度 Key	示例	说明
gen_ai_token_type	input, output	Token 类型。
gen_ai_response_finish_reason	stop	生成完成原因。

生成结果统计指标

Metric	类型	说明	特殊维度
gen_ai.chat.count	Counter	聊天会话总次数。	无
gen_ai.client.generation.choices	Counter	生成选项数量，适用于多候选结果场景。	gen_ai_response_finish_reason

Token 消耗指标

Metric	类型	说明	特殊维度
gen_ai.client.token.usage	Histogram	Token 消耗分布。	gen_ai_token_type

流式处理耗时指标

Metric	类型	说明	特殊维度
gen_ai.client.operation.duration	Histogram	请求总耗时（端到端）。	无
gen_ai.chat_completions.streaming_time_to_first_token	Histogram	流式请求的首 Token 延迟。	无
gen_ai.chat_completions.streaming_time_to_generate	Histogram	首 Token 延迟（秒），适用于 streaming 场景。	无
gen_ai.chat_completions.streaming_time_per_output_token	Histogram	单个输出 Token 的平均生成耗时（秒），适用于 streaming 场景。	无

请求异常统计

Metric	类型	说明	特殊维度
gen_ai.chat_completions.exceptions	Counter	大模型调用异常次数。	无