本章节介绍日志服务应用市场提供的大模型观测日志应用 LLM 应用观测。

说明

推荐使用最新版本日志应用，详情请参考Eino 观测、LangGraph 观测。

## 概述通过接入 LLM 应用观测数据，提供 LLM 应用成本与性能分析、调用链分析和会话分析等服务。 ![图片](https://p9-arcosite.byteimg.com/obj/tos-cn-i-goo7wpa0wc/9870475133a14215af6a1bf97b2b5b36) ## 监控图表详情日志服务 LLM 应用观测监控图表详情如下： * 成本与性能分析 |类型 |图表 | |---|---| |Overview |*

模型调用次数

Token 使用

调用链数

Avg LLM call per request

Avg LLM Token per mins

模型调用错误/1m

Request 数趋势

TTFT\-模型首 Token 耗时\-P99分位数/1m

操作类型分布

| |LLM |*

模型调用次数、模型调用平均耗时、模型调用错误次数

模型调用平均耗时/1m、模型耗时分位数(P99)/1m、模型调用错误/1m

TTFT\-模型首 Token 耗时\-P99分位数/1m、TTFT\-模型首 Token 耗时\-平均值/1m

模型调用平均耗时排行(Top5)、模型调用排行(Top5)、模型调用错误排行(Top5)

| |Embedding |* Embedding 次数、Embedding 平均耗时、Embedding 错误次数

* Embedding 次数/1m、Embedding 耗时/1m、Embedding 错误/1m

* Embedding 耗时排行(Top5)、Embedding 次数排行(Top5)、Embedding 错误排行(Top5) | |Retrieval&Rerank |* Retrieval\-调用次数、Retrieval\-调用平均耗时、Retrieval\-错误次数

* Retrieval\-调用次数/1m、Retrieval\-调用耗时/1m、Retrieval\-错误次数/1m

* Rerank\-调用次数、Rerank\-调用平均耗时、Rerank\-错误次数

* Rerank\-调用次数/1m、Rerank\-调用耗时/1m、Rerank\-错误次数/1m | |Tool |* 调用次数、调用平均耗时、错误次数

* 调用次数/1m、调用耗时/1m、错误次数/1m

* 调用排行(Top5)、调用耗时排行(Top5)、错误排行(Top5) | |Task |* 调用次数、调用平均耗时、错误次数

* 调用次数/1m、调用耗时/1m、错误次数/1m

* 调用排行(Top5)、调用耗时排行(Top5)、错误排行(Top5) | |Token |* Token 使用、Avg tokens per LLM call

* Tokens 消耗/1m、Avg tokens per LLM call/1m

* Token 使用模型排行(Top5)、Token 使用会话排行(Top5) | * 调用链分析展示指定调用链的 Trace ID、状态、总耗时 (ms)、开始时间、结束时间。 * 会话分析展示指定会话的 Input / Session ID、Tokens、总耗时 (ms)、调用链、用户ID、开始时间。 ## 接入日志应用 1. 登录[日志服务控制台](https://console.volcengine.com/tls/)。 2. 在顶部导航栏中，选择日志服务所在的地域。 3. 在左侧导航栏中，选择**常用功能** \> **日志应用**。 4. 在**应用市场**页签，选择待接入的日志应用卡片，如在 **LLM** **应用观测** 卡片上，单击**接入应用**。 5. 配置接入应用参数，然后单击**创建LLM应用观测**。 |参数 |说明 | |---|---| |LLM应用名称 |接入 LLM 日志应用的名称。 | |描述 |接入日志应用的描述信息。 | |Region |接入日志应用的地域。 | |日志项目 |选择存放数据的日志项目。 | 6. 创建应用后，可执行下一步接入 LLM 应用数据。 ## 接入 LLM 应用数据创建完成 LLM 应用观测后，需接入 LLM 应用数据，才能使用性能、成本分析数据看板，调用链分析、会话分析等能力。 ### 使用 Python 应用接入 1. 下载安装 Python Agent。从 PyPI 仓库下载探针安装器。 ```Python pip3 install volcengine-tls-bootstrap ``` 2. 配置环境变量。手动为 Python 应用添加以下环境变量： ```Python export TLS_APP_NAME="LLM日志应用名称" # 应用名称 export TLS_EXPORTER_OTLP_ENDPOINT="tls-cn-shanghai.volces.com:4317" #应用接入点，需要说明公网、内网环境分别接入的方式 export TLS_EXPORTER_OTLP_HEADERS="x-tls-appid=586411c2-442e-4753-8e37-xxx,x-tls-otel-ak={your-ak},x-tls-otel-sk={your-sk},x-tls-otel-region=cn-shanghai" ```

说明

x\-tls\-appid：由前端根据用户创建的名称自动填充。

x\-tls\-otel\-region：由前端根据当前 Region 自动填充。

（可选）对于 Docker 环境，参考以下 Dockerfile 示例修改 Dockerfile 文件： ```Python ENV TLS_APP_NAME="LLM日志应用名称" # 应用名称 ENV TLS_EXPORTER_OTLP_HEADERS="tls-cn-shanghai.volces.com:4317" #应用接入点，需要说明公网、内网环境分别接入的方式 ENV TLS_EXPORTER_OTLP_HEADERS="x-tls-appid=586411c2-442e-4753-8e37-xxx,x-tls-otel-ak={my-ak},x-tls-otel-sk={my-sk},x-tls-otel-region=cn-shanghai" ``` 3. 使用 volc\-tls\-bootstrap 安装 Python 探针。为了加快安装，建议您使用如下命令先配置镜像仓库： ```Python pip config set global.index-url https://mirrors.ivolces.com/pypi/simple/ && pip config set install.trusted-host mirrors.ivolces.com ``` 安装探针： ```Python volcengine-tls-bootstrap -a install ``` 4. 启动应用。 * 使用 TLS Python 探针启动应用 ```Python volcengine-tls-instrument python app.py ``` * 不使用 TLS Python 探针启动应用（可选）不使用 Python 探针启动的方式在应用主入口文件引入 Python 探针，然后启动应用。例如在main.py/app.py文件中引入Python探针。 ```Python from volcengine.opentelemetry.instrumentation.auto_instrumentation import sitecustomize ```

说明

如果应用使用 Unicorn 启动，需要替换为 Gunicorn。

如果有使用 gevent 协程，则需要设置环境变量 GEVENT_ENABLE=true。

### 使用 Eino 应用接入 1. 配置环境变量。手动为 Eino 应用添加以下环境变量： ```Go export TLS_APP_NAME="LLM日志应用名称" # 应用名称 export TLS_ENDPOINT="tls-cn-shanghai.volces.com:4317" #应用接入点，需要说明公网、内网环境分别接入的方式 export TLS_EXPORTER_OTLP_HEADERS="x-tls-appid=586411c2-442e-4753-8e37-xxx,x-tls-otel-ak={your-ak},x-tls-otel-sk={your-sk},x-tls-otel-region=cn-shanghai" ```

说明

x\-tls\-appid：由前端根据用户创建的名称自动填充。

x\-tls\-otel\-region：由前端根据当前 Region 自动填充。

（可选）对于 Docker 环境，参考以下 Dockerfile 示例修改 Dockerfile 文件： ```Go ENV TLS_APP_NAME="LLM日志应用名称" # 应用名称 ENV TLS_ENDPOINT="tls-cn-shanghai.volces.com:4317" #应用接入点，需要说明公网、内网环境分别接入的方式 ENV TLS_EXPORTER_OTLP_HEADERS="x-tls-appid=586411c2-442e-4753-8e37-xxx,x-tls-otel-ak={my-ak},x-tls-otel-sk={my-sk},x-tls-otel-region=cn-shanghai" ``` 2. 配置 TLS Callback。 ```Go package main import ( "context" "log" "github.com/cloudwego/eino-ext/callbacks/tls" "github.com/cloudwego/eino/callbacks" ) func main() { ctx := context.Background() cbh, shutdown, err := tls.NewTLSHandler(ctx,&tls.TLSConfig{ TLSEndpoint: os.GetEnv["TLS_ENDPOINT"], //或者直接用环境变量TLS_ENDPOINT的值 AppName: os.GetEnv["TLS_APP_NAME"], //或者直接用环境变量TLS_APP_NAME的值 TLSOTLPHeadersStr: os.GetEnv["TLS_EXPORTER_OTLP_HEADERS"], //或者直接用环境变量TLS_EXPORTER_OTLP_HEADERS的值 }) if err != nil { log.Fatal(err) return } if shutdown != nil { defer shutdown(ctx) } // Set tls as a global callback callbacks.AppendGlobalHandlers(cbh) // your code here return } ``` ## 管理我的应用日志应用接入成功后，支持对已接入的日志应用进行相关管理操作： 1. 登录[日志服务控制台](https://console.volcengine.com/tls/)。 2. 在顶部导航栏中，选择日志服务所在的地域。 3. 在左侧导航栏中，选择**常用功能** \> **日志应用**。 4. 进入**我的应用**页签，在对应日志应用的**操作**列，支持如下管理操作： |操作 |说明 | |---|---| |接入管理 |单击**接入管理**，进入**接入管理**页签，支持修改接入的日志应用描述信息。 | |取消接入 |单击**取消接入**，在取消接入弹窗中确认信息，再次单击**取消接入**。 | |查看接入配置 |单击**查看接入配置**，进入接入配置页面，查看接入 LLM 应用数据相关配置。 |