日志聚类是指将相似度高的日志进行聚合,提取共同的日志 Pattern,从而快速从大量的日志数据中提取概要信息,掌握日志全貌。提取出来的日志信息,可用于问题定位、异常检测、版本回归等运维动作。
说明
该功能仅支持华北2(北京)、华南1(广州)、华东2(上海)、亚太东南(柔佛)地域。
日志服务支持对经任意条件过滤后的日志数据进行聚类,提取相似的 Pattern,以便快速掌握日志全貌,从而快速识别出重点关注日志。支持根据分类反查原始数据,支持将聚类结果添加到仪表盘进行分析与监测。
- 日志聚类:借助聚类算法将大量的日志数据分组成不同的模式,使得相似的日志条目被放在一起。
- 日志 Pattern:日志模板,表示一组具有相似特征的日志,每个日志 Pattern 会有一个或多个子 Pattern。
- 日志模板:用于调整聚类算法的精度,精度数值越大,则表示聚类结果分类细,保留更多 Pattern 细节。
- 对比时间点:用于对比在两个时段内日志 Pattern 的日志数量。
日志聚类目前暂不收取费用,后续收费时间另行通知。
- 已为日志配置索引。如需设置日志聚类白名单或黑名单,还需配置键值索引。
- 在检索分析页面的左侧列表中,选择指定的日志项目和日志主题。
- 在日志主题的检索分析页面,单击索引配置,进入索引配置页面。
- 在索引配置页面,勾选日志聚类,然后设置日志聚类的白名单或黑名单。
说明
配置特征字段前需先开启日志主题的键值索引。
当用户收到告警或其他异常时,到日志检索页面,快速查看聚类后的日志,以便快速掌握日志全貌,查看明细日志。
- 在检索分析页面的左侧列表中,选择指定的日志项目和日志主题。
- 时间范围默认为 5 分钟,您也可以自定义检索的时间范围。日志数据的存储时间不在指定的查询时间范围内时,该数据不会被检索到。
- 在日志直方图图表下方,单击日志聚类,查看聚类结果。
聚类算法的精度数值越大,则表示聚类结果分类越细,模板保留更多 Pattern 细节。
在日志聚类页签的模板中,调整聚类算法精度,精度范围:1-16。
日志聚类支持按时间对比能力,用于查看特定时间范围内聚类结果的变化情况。比如当用户收到告警或其他异常时,可以对比近一段时间,故障发生时的前后时间的日志情况变化。
- 快速选择:支持快速选择距离检索时间范围的某个时间,如5分钟前、15分钟前、1小时前、3小时前、1天前、7天前、30天前,或自定义时间段。
支持复制日志聚类语句,根据实际需要用于 SQL 统计分析。
在日志聚类页签,单击复制聚类分析语句,可将聚类分析语句复制到剪贴板。
当日志聚类的查询语句、日志精度设置相对固定后,可将日志聚类添加到仪表盘内保存,以便后续查看。保存时会记录查询语句和精度设置。
- 在检索分析页面的左侧列表中,选择指定的日志项目和日志主题。
- 在日志主题的检索分析页面,单击索引配置,进入索引配置页面。