文档中心

日志服务

使用其他系统分析日志

使用 Grafana 可视化分析日志

日志服务提供数据源插件以供日志数据快速对接 Grafana，便于您在 Grafana 中可视化展示与分析日志服务中的日志数据。本文档演示通过日志服务数据源插件将日志数据接入 Grafana 的操作步骤。

背景信息

作为开源的可视化监控平台，Grafana 提供数据指标监控、可视化分析等功能，通常用于网络架构、应用性能分析等多种场景下的大规模指标数据和时序数据的可视化展示。日志数据被采集到日志服务中之后，您可以通过日志服务提供的数据源插件将日志数据与 Grafana 对接，并在 Grafana 中创建可视化的仪表盘与图表，实现日志数据在 Grafana 中的可视化分析。

日志服务提供的数据源插件支持通过火山引擎访问密钥获取当前账号下所有的日志主题数据，也支持只获取某个指定的日志主题数据。两种数据源的配置方式说明如下表所示，您可以根据业务需求，选择合适的配置方式。

方式	说明	优点	缺点
只指定访问密钥方式	使用当前数据源时，可以查看当前账号下所有的日志主题数据。如果当前账号下新增日志主题，将自动同步到对应的数据源中，实现日志主题动态扩展至 Grafana。	灵活性高易于维护	安全风险降低性能
指定日志主题方式	使用当前数据源时，只能查看当前指定的日志主题数据。	安全性高可控性强	配置工作量大维护成本低

前提条件

已采集日志数据。操作步骤请参考快速入门。

已安装 Grafana。操作步骤请参考 Grafana 官方文档。

日志服务支持对接 Grafana 6.0~12.x 版本（导入仪表盘支持对接 8.0.x~12.x 版本）。本文档以 Grafana 9.5.8 版本为例演示相关的操作步骤。

一添加数据源操作

1 下载并安装数据源插件

下载数据源插件包。详细信息请参考 Github 仓库。

Grafana 9.0 及以上版本

wget https://codeload.github.com/volcengine/tls-grafana-datasource/zip/refs/heads/main -O tls-grafana-datasource-main.zip

Grafana 6.x~8.x 版本

wget https://codeload.github.com/volcengine/tls-grafana-datasource/zip/refs/tags/v1.2 -O tls-grafana-datasource-main.zip

将数据源插件包解压到 Grafana 插件目录下。

根据不同的安装方式选择对应的 Grafana 插件目录，并执行对应命令。

使用 RPM 或者 YUM 安装
使用.tar、.gz 文件安装
插件目录
/usr/lib/grafana/plugins
解压缩命令示例

unzip tls-grafana-datasource-main.zip -d /var/lib/grafana/plugins
插件目录
{PATH_TO}/grafana-6.6.0/data/plugins
解压缩命令示例

unzip tls-grafana-datasource-main.zip -d {PATH_TO}/grafana-6.6.0/data/plugins

修改 Grafana 配置文件中的权限配置。

在 Grafana 配置文件中增加数据源插件相关的权限配置参数，以允许 Grafana 加载此插件。

说明

Grafana 6.x 版本默认允许加载未签名的插件，无需添加此配置。

使用 RPM 或者 YUM 安装
使用.tar、.gz 文件安装
插件目录
:/etc/grafana/grafana.ini
插件配置

allow_loading_unsigned_plugins = tls-grafana-datasource
插件目录
:{PATH_TO}/grafana-6.6.0/conf/defaults.ini
插件配置

allow_loading_unsigned_plugins = tls-grafana-datasource

重启 Grafana。

执行以下命令重启 Grafana，使插件配置生效。

执行 kill 命令终止 Grafana 进程。

重新启动 Grafana。

根据安装方式选择对应的命令，重启 Grafana。

Grafana 安装方式
重启命令
使用 RPM 或者 YUM 安装

systemctl restart grafana-server

使用.tar、.gz 文件安装

./bin/grafana-server

2 添加数据源

说明

不同版本的 Grafana 界面可能存在差异，请以实际界面为准。

在 Grafana 中添加日志服务数据源。

以管理员身份登录 Grafana。

在左侧菜单栏中选择 Administration > Data sources。

在 Data sources 页签中，单击 Add new data source。

在 Add data source 页面中，找到并单击找到 Tls-Grafana-Datasource。

填写数据源配置。

设置数据源名称。

选择配置模式。

配置数据源信息。

只指定访问密钥方式（账号模式）

将AccountMode置于开启状态，然后配置如下参数：

配置	说明
AccessKeyId	火山引擎账户密钥 Access Key ID。您可以在火山引擎控制台密钥管理页面，根据页面提示查看并复制 Access Key ID。说明建议使用 IAM 用户的密钥，且 IAM 用户应具备 Action SearchLogs 的权限。详细信息请参考可授权的操作。
AccessKeySecret	火山引擎账户密钥 Secret Access Key。您可以在火山引擎控制台密钥管理页面，根据页面提示查看并复制 Secret Access Key。
Endpoint（可选）	接入账号内指定的日志服务的服务地址，例如 https://tls-cn-beijing.ivolces.com。请根据地域和网络类型选择正确的服务入口，详细信息请参见服务地址。说明服务地址必须以 https://开头。如果使用私网服务地址，应确认 Grafana 项目所在环境可通过火山引擎私网访问日志服务。
Region（可选）	接入账号内指定日志服务的地域 ID，必须与 Endpoint 的地域一致。详细信息请参见服务地址。

指定日志主题方式（单 Topic 模式）

将AccountMode置于关闭状态，然后配置如下参数：

配置	说明
Endpoint	日志服务的服务地址，例如 https://tls-cn-beijing.ivolces.com。请根据地域和网络类型选择正确的服务入口，详细信息请参见服务地址。说明服务地址必须以 https://开头。如果使用私网服务地址，应确认 Grafana 项目所在环境可通过火山引擎私网访问日志服务。
Region	日志服务的地域 ID，必须与 Endpoint 的地域一致。详细信息请参见服务地址。
Topic	日志数据所在的日志服务日志主题 ID。
AccessKeyId	火山引擎账户密钥 Access Key ID。您可以在火山引擎控制台密钥管理页面，根据页面提示查看并复制 Access Key ID。说明建议使用 IAM 用户的密钥，且 IAM 用户应具备 Action SearchLogs 的权限。详细信息请参考可授权的操作。
AccessKeySecret	火山引擎账户密钥 Secret Access Key。您可以在火山引擎控制台密钥管理页面，根据页面提示查看并复制 Secret Access Key。

单击 Save & test。

二添加仪表盘操作

导入日志服务仪表盘

1 获取数据源 UID

在 Grafana 的 Data sources 页签中。

单击上一步添加的数据源，在顶部 URL 栏中，获取数据源 UID。

2 获取 Grafana 格式仪表盘

参考导出 Grafana 格式仪表盘，在日志服务控制台生成 Grafana 格式仪表盘 JSON。

3 导入 Grafana 格式仪表盘

在 Grafana 左侧导航栏中，单击 Dashboards。

在页面右上角，选择 New > Import。

在 Import dashboard 页签中，上传 Grafana 格式仪表盘 JSON 文件，或直接在 Import via dashboard JSON model 中粘贴 JSON，然后单击 Load。

手动添加仪表盘

1 添加仪表盘

在左侧导航栏中，单击 Dashboards。

在页面右上角，选择 New > New Dashboard。

在 New dashboard 页面的右上角，单击 Settings 图标。

在 General 页面，设置仪表盘名称。

在页面右上角，单击 Save dashboard，然后单击 Save。

2 （可选）添加变量

在仪表盘页面右上角，单击 Settings 图标。

在左侧导航栏中，单击 Variables。

在 Variables 页面，单击 New variable。

设置变量相关参数，其他参数保持默认配置，然后单击 Apply。

配置	说明
Select variable type	选择变量类型。Query 类型才支持配置 TLS 数据源。
Name	设置变量名称。
Data source	选择目标 TLS 数据源。
Query	输入检索分析语句，用于动态获取变量值。 Grafana 将以所选数据源的检索分析结果作为变量值的可选项。

指定访问密钥方式（账号模式）查询变量配置示例

说明

如果添加的数据源为使用指定访问密钥方式（账号模式），可通过query type配置 Region、Topic、Log 等自定义变量，实现跨 Region、同 Region 的多 Topic 查询。

自定义变量名	参数配置
region	用于配置日志服务地域的变量。 query type：设置为 Region
accesslog	用于配置日志服务日志主题的变量，日志主题如access-log。 query type：设置为 Topic。 region variable：设置为上一步创建的自定义变量，如$region。 projectName：设置日志项目，如internal-log。不填则默认使用该 Region 内的所有日志项目。 topicName：设置日志主题，如access-log。不填则默认使用该日志项目内的所有日志主题。
account_id	用于配置提取日志主题中特定值的变量，如提取account_id的值。 query type 设置为 Logs。 region：设置为上一步创建的自定义变量，如$region（或指定任意 Region）。 topic：设置为上一步设置的日志主题变量，如$access-log（或指定任意 Topic）。 Query：设置为提取特定值的 SQL 语句，如* \| select distinct account_id。

在页面右上角，单击 Save dashboard，然后单击 Save。

添加变量后，您可以在图表页面的右上角查看变量及变量值。

3 添加图表

添加数据源之后，您还需要在 Grafana 中创建仪表盘，并为其添加图表。

在仪表盘页面，单击 Add visualization。

在 Select data source 页面，选择您在2 添加数据源中创建的 TLS 数据源。

填写检索分析相关的配置。

选择数据源所在的地域（region）和日志主题（topic）。

说明

选择只指定访问密钥方式配置数据源时，需选择目标地域和日志主题。

配置参数
说明
region
选择 TLS 日志主题所在的地域。
topic
选择数据源所在的 TLS 日志主题。

在 Query 中输入检索分析语句。

检索分析语句应符合火山引擎日志服务检索分析语法。详细说明请参考检索概述和分析概述。使用变量过滤图表数据时，需在检索分析语句中添加变量占位符，格式为字段名：${变量名}。

设置 xcol 和 ycol。

配置参数	说明
xcol	设置 X 轴的展示字段。使用表格类型的图表时，xcol 需选择为 Table/Log。使用柱状图类型的图表时，xcol 需选择为 bar。使用时序图类型的图表时，xcol 需选择为 TimeSeries/Custom。使用时序图时，支持将一个维度展开为多个指标，并通过多条折线图分别展示不同指标随时间的变化趋势，具体实例，请参考示例 2 。使用饼图类型的图表时，xcol 需选择为 pie。
ycol	设置 Y 轴的展示字段。

无变量示例

变量示例

在检索分析语句中，插入变量 Method:${Method}，使用变量过滤图表数据。

配置图表。

在页面右侧，选择图表类型。

根据业务需求，配置 Panel options。

在页面右上角，单击 Save，然后在 Save dashboard 面板中，单击 Save。

如果您要继续添加可视化图表，可在仪表盘的右上角单击 Add > Visualization。

图表配置示例

日志服务提供常见场景下的图表配置示例供您参考。

柱状图（Bar gauge）

柱状图常用于展示分类数据，每个分类为一个柱状图形，其高度为每一分类的数值大小。添加柱状图的操作步骤，请参考3 添加图表。柱状图的配置示例如下：

场景

通过柱状图展示每个请求方法对应的 PV 和 UV。

参数配置

配置参数	说明
region	选择TLS 日志主题所在的地域，例如北京。
topic	选择数据源所在的 TLS 日志主题，例如 mytopic。
Query	输入如下检索分析语句。 *
xcol	使用柱状图时，xcol 需选择为 bar。
ycol	设置为 method,PV,UV。

可视化图表

表格（Table）

表格可用于展示或对比统一类型字段的值，例如在访问日志中查询用户的操作时间等场景。添加表格的操作步骤，请参考3 添加图表。表格的配置示例如下：

场景

通过表格展示每 5 分钟内的 PV 和 UV。

参数配置

参数	示例
Data source	选择您已添加的 TLS 数据源。
region	选择TLS 日志主题所在的地域，例如北京。
topic	选择数据源所在的 TLS 日志主题，例如 mytopic。
Query	输入如下检索分析语句。 *
xcol	使用表格时，xcol 需选择为 Table/Log。
ycol	无需设置。

可视化图表

时序图（Time series）

时序图可用于展示不同时间节点的数据变化趋势，例如查看一段时间内的访问量趋势等场景。添加时序图的操作步骤，请参考3 添加图表。时序图的配置示例如下：

示例 1

场景

通过时序图展示每 5 分钟内 PV 的变化趋势。

参数配置

配置参数	示例
Data source	选择您已添加的 TLS 数据源。
region	选择TLS 日志主题所在的地域，例如北京。
topic	选择数据源所在的 TLS 日志主题，例如 mytopic。
Query	*
xcol	使用时序图时，xcol 需选择为 TimeSeries/Custom。
ycol	设置为 PV,UV。

可视化图表

示例 2

场景

通过时序图展示各个集群的 IOPS 随时间的变化情况。

参数配置

配置参数	示例
Data source	选择您已添加的 TLS 数据源。
region	选择TLS 日志主题所在的地域，例如北京。
topic	选择数据源所在的 TLS 日志主题，例如 mytopic。
Query	Action: PutLogs AND newArch:true
xcol	使用时序图时，xcol 需选择为 TimeSeries/Custom，具体字段为 time,Tls2Cluster。说明使用时序图时，支持将一个维度展开为多个指标。将 xcol 配置为 time,查询字段，将 ycol 配置为对应的数值列（支持多个数值列），系统将新增对应的指标，指标名为查询字段值* 数值列名，每个指标会对应一条折线，折线条数小于等于 100。例如本案例中，xcol 配置为 time,Tls2Cluster，ycol 配置为 num，则根据Tls2Cluster 字段值生成指标 newarchnum、tls-newarch-az-bnum、tls-newarch-az-b-2*num，并分别展示这三个指标随时间的变化情况。
ycol	设置为 num。

可视化图表

单值图（Gauge）

单值图以矩形框形式突出展示检索分析结果，适用于数据信息突出展示的场景，例如某一时刻或时间段的某个关键信息。添加单值图的操作步骤，请参考3 添加图表。单值图的配置示例如下：

场景

通过单值图展示PV和UV。

参数配置

配置参数	示例
Data source	选择您已添加的 TLS 数据源。
region	选择 TLS 日志主题所在的地域，例如北京。
topic	选择数据源所在的 TLS 日志主题，例如 mytopic。
Query	*
xcol	使用单值图时，xcol 需选择为 stat/Gauge。
ycol	设置为 PV,UV。

可视化图表

饼图（Pie chart）

饼图用于表示不同分类的占比，通过弧度来对比分类之间的占比差异、每个分类相较于总和的数值差异。添加饼图的操作步骤，请参考3 添加图表。饼图的配置示例如下：

场景

通过饼图展示各个请求状态对应的请求数量。

参数配置

配置参数	说明
Data source	选择您已添加的 TLS 数据源。
region	选择 TLS 日志主题所在的地域，例如北京。
topic	选择数据源所在的 TLS 日志主题，例如 mytopic。
Query	status>200
xcol	使用饼图时，xcol 需选择为 pie。
ycol	设置为 status,cnt。

可视化图表

地图

说明

TLS Grafana 插件不提供地图，由 Grafana 提供地图能力。

地图用于展示地域分布情况。添加地图的操作步骤，请参考3 添加图表。当前，支持通过 Echarts 插件和 Worldmap Panel 配置地图，配置示例如下：

Worldmap Panel

场景

通过地图展示各个地域请求数量分布情况。

参数配置

配置参数	说明
Data source	选择您已添加的 TLS 数据源。
Query	* 其中： ip_to_geo 函数说明，请参考IP_TO_GEO 函数。 ip_to_city 函数说明，请参考IP_TO_CITY 函数。 geohash 函数说明，请参考GEOHASH 函数。
ycol	设置为 city,hash,count。