文档中心

日志服务

Framework 日志应用

LLM 应用观测（LangChain/Eino）

本章节介绍日志服务应用市场提供的大模型观测日志应用 LLM 应用观测。

说明

推荐使用最新版本日志应用，详情请参考Eino 观测、LangGraph 观测。

概述

通过接入 LLM 应用观测数据，提供 LLM 应用成本与性能分析、调用链分析和会话分析等服务。

监控图表详情

日志服务 LLM 应用观测监控图表详情如下：

成本与性能分析

类型	图表
Overview	模型调用次数 Token 使用调用链数 Avg LLM call per request Avg LLM Token per mins 模型调用错误/1m Request 数趋势 TTFT-模型首 Token 耗时-P99分位数/1m 操作类型分布
LLM	模型调用次数、模型调用平均耗时、模型调用错误次数模型调用平均耗时/1m、模型耗时分位数(P99)/1m、模型调用错误/1m TTFT-模型首 Token 耗时-P99分位数/1m、TTFT-模型首 Token 耗时-平均值/1m 模型调用平均耗时排行(Top5)、模型调用排行(Top5)、模型调用错误排行(Top5)
Embedding	Embedding 次数、Embedding 平均耗时、Embedding 错误次数 Embedding 次数/1m、Embedding 耗时/1m、Embedding 错误/1m Embedding 耗时排行(Top5)、Embedding 次数排行(Top5)、Embedding 错误排行(Top5)
Retrieval&Rerank	Retrieval-调用次数、Retrieval-调用平均耗时、Retrieval-错误次数 Retrieval-调用次数/1m、Retrieval-调用耗时/1m、Retrieval-错误次数/1m Rerank-调用次数、Rerank-调用平均耗时、Rerank-错误次数 Rerank-调用次数/1m、Rerank-调用耗时/1m、Rerank-错误次数/1m
Tool	调用次数、调用平均耗时、错误次数调用次数/1m、调用耗时/1m、错误次数/1m 调用排行(Top5)、调用耗时排行(Top5)、错误排行(Top5)
Task	调用次数、调用平均耗时、错误次数调用次数/1m、调用耗时/1m、错误次数/1m 调用排行(Top5)、调用耗时排行(Top5)、错误排行(Top5)
Token	Token 使用、Avg tokens per LLM call Tokens 消耗/1m、Avg tokens per LLM call/1m Token 使用模型排行(Top5)、Token 使用会话排行(Top5)

调用链分析

展示指定调用链的 Trace ID、状态、总耗时 (ms)、开始时间、结束时间。

会话分析

展示指定会话的 Input / Session ID、Tokens、总耗时 (ms)、调用链、用户ID、开始时间。

接入日志应用

登录日志服务控制台。

在顶部导航栏中，选择日志服务所在的地域。

在左侧导航栏中，选择常用功能 > 日志应用。

在应用市场页签，选择待接入的日志应用卡片，如在 LLM 应用观测卡片上，单击接入应用。

配置接入应用参数，然后单击创建LLM应用观测。

参数	说明
LLM应用名称	接入 LLM 日志应用的名称。
描述	接入日志应用的描述信息。
Region	接入日志应用的地域。
日志项目	选择存放数据的日志项目。

创建应用后，可执行下一步接入 LLM 应用数据。

接入 LLM 应用数据

创建完成 LLM 应用观测后，需接入 LLM 应用数据，才能使用性能、成本分析数据看板，调用链分析、会话分析等能力。

使用 Python 应用接入

下载安装 Python Agent。

从 PyPI 仓库下载探针安装器。

pip3 install volcengine-tls-bootstrap

配置环境变量。

手动为 Python 应用添加以下环境变量：

export TLS_APP_NAME="LLM日志应用名称" # 应用名称
export TLS_EXPORTER_OTLP_ENDPOINT="tls-cn-shanghai.volces.com:4317" #应用接入点，需要说明公网、内网环境分别接入的方式
export TLS_EXPORTER_OTLP_HEADERS="x-tls-appid=586411c2-442e-4753-8e37-xxx,x-tls-otel-ak={your-ak},x-tls-otel-sk={your-sk},x-tls-otel-region=cn-shanghai"

说明

x-tls-appid：由前端根据用户创建的名称自动填充。

x-tls-otel-region：由前端根据当前 Region 自动填充。

（可选）对于 Docker 环境，参考以下 Dockerfile 示例修改 Dockerfile 文件：

ENV TLS_APP_NAME="LLM日志应用名称" # 应用名称
ENV TLS_EXPORTER_OTLP_HEADERS="tls-cn-shanghai.volces.com:4317" #应用接入点，需要说明公网、内网环境分别接入的方式
ENV TLS_EXPORTER_OTLP_HEADERS="x-tls-appid=586411c2-442e-4753-8e37-xxx,x-tls-otel-ak={my-ak},x-tls-otel-sk={my-sk},x-tls-otel-region=cn-shanghai"

使用 volc-tls-bootstrap 安装 Python 探针。

为了加快安装，建议您使用如下命令先配置镜像仓库：

pip config set global.index-url https://mirrors.ivolces.com/pypi/simple/ && pip config set install.trusted-host mirrors.ivolces.com

安装探针：

volcengine-tls-bootstrap -a install

启动应用。

使用 TLS Python 探针启动应用

volcengine-tls-instrument python app.py

不使用 TLS Python 探针启动应用（可选）

不使用 Python 探针启动的方式在应用主入口文件引入 Python 探针，然后启动应用。例如在main.py/app.py文件中引入Python探针。

from volcengine.opentelemetry.instrumentation.auto_instrumentation import sitecustomize

说明

如果应用使用 Unicorn 启动，需要替换为 Gunicorn。

如果有使用 gevent 协程，则需要设置环境变量 GEVENT_ENABLE=true。

使用 Eino 应用接入

配置环境变量。

手动为 Eino 应用添加以下环境变量：

export TLS_APP_NAME="LLM日志应用名称" # 应用名称
export TLS_ENDPOINT="tls-cn-shanghai.volces.com:4317" #应用接入点，需要说明公网、内网环境分别接入的方式
export TLS_EXPORTER_OTLP_HEADERS="x-tls-appid=586411c2-442e-4753-8e37-xxx,x-tls-otel-ak={your-ak},x-tls-otel-sk={your-sk},x-tls-otel-region=cn-shanghai"

说明

x-tls-appid：由前端根据用户创建的名称自动填充。

x-tls-otel-region：由前端根据当前 Region 自动填充。

（可选）对于 Docker 环境，参考以下 Dockerfile 示例修改 Dockerfile 文件：

ENV TLS_APP_NAME="LLM日志应用名称" # 应用名称
ENV TLS_ENDPOINT="tls-cn-shanghai.volces.com:4317" #应用接入点，需要说明公网、内网环境分别接入的方式
ENV TLS_EXPORTER_OTLP_HEADERS="x-tls-appid=586411c2-442e-4753-8e37-xxx,x-tls-otel-ak={my-ak},x-tls-otel-sk={my-sk},x-tls-otel-region=cn-shanghai"

配置 TLS Callback。

package main

import (
"context"
"log"

"github.com/cloudwego/eino-ext/callbacks/tls"
"github.com/cloudwego/eino/callbacks"
)

func main() {
ctx := context.Background()

cbh, shutdown, err := tls.NewTLSHandler(ctx,&tls.TLSConfig{
TLSEndpoint: os.GetEnv["TLS_ENDPOINT"], //或者直接用环境变量TLS_ENDPOINT的值
AppName: os.GetEnv["TLS_APP_NAME"], //或者直接用环境变量TLS_APP_NAME的值
TLSOTLPHeadersStr: os.GetEnv["TLS_EXPORTER_OTLP_HEADERS"], //或者直接用环境变量TLS_EXPORTER_OTLP_HEADERS的值
})
if err != nil {
log.Fatal(err)
return
}
if shutdown != nil {
defer shutdown(ctx)
}

// Set tls as a global callback
callbacks.AppendGlobalHandlers(cbh)

// your code here

return
}

管理我的应用

日志应用接入成功后，支持对已接入的日志应用进行相关管理操作：

登录日志服务控制台。

在顶部导航栏中，选择日志服务所在的地域。

在左侧导航栏中，选择常用功能 > 日志应用。

进入我的应用页签，在对应日志应用的操作列，支持如下管理操作：

操作	说明
接入管理	单击接入管理，进入接入管理页签，支持修改接入的日志应用描述信息。
取消接入	单击取消接入，在取消接入弹窗中确认信息，再次单击取消接入。
查看接入配置	单击查看接入配置，进入接入配置页面，查看接入 LLM 应用数据相关配置。

最近更新时间：2026.09.08 14:53:43

这个页面对您有帮助吗？

有用

无用