文档中心

日志服务

配置日志索引

配置索引

日志服务支持日志检索与分析功能，配置索引后才能进行日志检索和分析操作。配置索引时需要指定索引的类型和各个字段的数据类型，索引的配置决定了检索方式和检索结果的精度。

本文介绍配置索引的操作步骤及索引配置的详细说明。

前提条件

已创建日志项目和日志主题。详细说明请参考日志项目和日志主题。

推荐先通过 LogCollector 或其他方式采集到日志数据，再配置索引。详细说明请参考采集日志数据。

注意事项

分类	注意事项
开启索引	全文索引与键值索引至少开启一项，索引关闭时采集的日志数据将无法被检索。
分词	日志服务单词存在 32766 字符限制，对于全文或单词过长的日志，如果未设置分词符，可能导致日志被丢弃。
全文索引	执行全文检索前，必须先开启全文索引。仅开启全文索引时，您只能使用检索语法进行日志检索。
键值索引	执行键值检索前，必须先为目标字段开启键值索引。为目标字段配置键值索引且打开统计功能后，您才能在分析语句中使用该字段。配置键值索引时，最多添加 500 个日志字段。
修改索引	配置索引后可以随时修改索引，修改索引后：新索引仅对修改之后采集到的新数据生效，已构建好的旧数据索引不会更新。检索日志时，旧数据仍旧遵循旧的索引规则，但如果删除了键值索引，则不再支持键值检索。分析日志时，旧数据不参与分析，仅修改索引后采集的日志参与分析。

索引类型

索引类型	说明
全文索引	开启全文索引后，日志服务会根据分词符将整条日志拆分为多个 text 类型的词，您可以输入关键词进行全文检索。例如通过 error or warning 语句检索包含关键字 error 或 warning 的日志。
键值索引	为目标字段开启键值索引后，日志服务将先根据字段名称（Key）拆分日志，再在各个字段内根据分词符拆分字段值（Value）。键值索引支持设置为 text、long、double 和 json 四种数据类型。详细说明，请参考索引数据类型。创建键值索引后，您可以指定字段名和字段值（Key:Value）进行日志检索。
预留字段索引	将日志数据写入日志服务时，日志服务默认为每一条日志添加部分元数据字段，用于记录该日志的日志来源、时间戳等信息。这些字段统称为日志服务的预留字段。开启索引功能后，日志服务默认为部分预留字段开启键值索引与统计，例如 __time__ 等字段。预留字段的默认索引配置请参考预留字段。对于没有预置索引的字段，例如 __content__ 字段，您可以通过预留字段索引手动为其设置索引。

创建索引

登录日志服务控制台。

在顶部导航栏中，选择日志服务所在的地域。

在左侧导航栏中，选择常用功能 > 检索分析。

在检索分析页面的左侧列表中，选择指定的日志项目和日志主题。

在指定日志主题的检索分析页面，单击索引配置。

打开启用索引，并按需选择索引类型。

日志服务支持以下类型的索引配置，详细的配置方式请参考：

全文索引配置

键值索引配置

预留字段索引配置

单击确定。

索引配置预计 1 分钟以内生效，请稍后刷新页面查看实时日志，或检索分析日志。

全文索引配置

在索引配置页面，开启全文索引，并填写以下配置。

配置	说明
大小写敏感	检索时，对于英文字母，是否区分大小写。启用：检索时区分大小写。例如检索包含 error 的日志，只能使用 error 关键词进行检索，通过 ERROR 检索不到该日志。未启用：检索时不区分大小写。例如检索包含 error 的日志，通过 error 或 ERROR 均可以检索到该日志。
中文分词	检索时，是否对日志的中文内容按照中文语法进行分词。中文分词和分词符必须开启其中一项。启用：日志内的中文字符：根据常见的中文语法对日志进行分词，不支持自定义中文内容的分词符。日志内的非中文字符：按照分词符参数中指定的分词符对日志进行分词。未启用：按照分词符参数中指定的分词符对日志进行分词。说明即使未启用中文分词配置，也可以检索日志中的中文字符，此时检索的关键词必须完全匹配该中文字段。例如日志中包含中文字段访问请求失败：未启用时，以关键词失败进行检索时，无法检索到该日志，必须使用完整的关键词访问请求失败，才能检索到该日志。启用后，通过搜索访问、请求或失败等词都可以检索到该日志。
分词符	是否根据指定分词符拆分日志内容。中文分词和分词符必须开启其中一项。启用：日志服务根据指定分词符拆分日志内容，您需要根据拆分后的日志内容进行检索。当默认的分词符不满足需求时，你可以自定义设置分词符。日志服务所支持的分词符详情请参考控制台界面。未启用：不分词，每条日志将作为一个整体进行检索。例如日志内容为/var/log/access.log。如果设置分词符为正斜线（/），则日志将被被拆分为var、log和access.log。您使用其中的任意一个词都可以检索到该日志，例如var、va、access.log。如果您使用默认分词符，则日志将被被拆分为var、log、access和log。您使用其中的任意一个词都可以检索到该日志，例如var、va、access。如果关闭了分词符，则整条日志为一个词/var/log/access.log。您需要通过完整的字符串/var/log/access.log 或字符串的模糊检索/var/log/* 才能检索到该日志。

键值索引配置

在索引配置页面，开启键值索引，并填写相关配置。

开启键值索引后，可以从原始日志提取索引，或手动添加索引，同时支持开启自动更新索引功能。

从原始日志提取索引

单击从原始日志提取字段，在弹窗中默认获取预览数据中的第一条日志自动配置键值索引。

单击追加，保留已存在的索引属性，key 相同的字段则更新配置。

单击覆盖，则直接替换已存在的索引属性。

自动更新索引

勾选自动更新，系统将根据新出现的字段自动添加到键值索引。自动更新生成的索引字段会在字段名称列生成自动生成的提示，可根据实际情况修改索引属性。首次开启可能需等待2~3分钟界面才会展示相关索引。

说明

通过自动更新生成的索引符合如下规范：

字段名称：仅自动添加符合日志服务字段名称规范的字段。

字段类型：仅支持text、long、double类型。json类型字段会被自动添加为text类型。

支持修改、删除自动添加的索引，修改后的索引不会被自动更新添加的索引覆盖。

执行重建索引操作后，不会触发自动更新索引。

自动更新生成的索引与手动添加的索引最多 500 个。

手动配置索引

单击添加字段，参考下表手动添加索引字段。

配置			说明
字段名称			日志字段的名称，即键值对中的 Key。仅支持字母、数字、空格、下划线（_）、连字符（-）和斜线（/），并且不支持以空格开头或结尾。同一个索引中 key 名称唯一。大小写不敏感，同个单词的不同大小写组合视为唯一。长度为 1~128 字符。说明最多添加 500 个日志字段。
字段类型			日志字段的数据类型。请根据实际情况如实填写数据类型，数据类型的设置将影响检索分析结果的正确性和精度。详细说明请参考索引数据类型。支持设置的数据类型包括 text、long、double 和 json。
统计			是否开启统计。启用：该字段参与统计分析，即可以在 SQL 分析语句中使用该字段。未启用：该字段不参与统计分析。
字段配置	大小写敏感	根据字段进行检索分析时，对于英文字母，是否区分大小写。启用：检索时区分大小写。例如检索包含 error 的日志，只能使用 error 关键词进行检索，通过 ERROR 检索不到该日志。未启用：检索时不区分大小写。例如检索包含 error 的日志，通过 error 或 ERROR 均可以检索到该日志。
		中文分词	检索时，是否对日志的中文内容按照中文语法进行分词。启用：日志内的中文字符：根据常见的中文语法对日志进行分词，不支持自定义中文内容的分词符。日志内的非中文字符：按照分词符参数中指定的分词符对日志进行分词。未启用：按照分词符参数中指定的分词符对日志进行分词。
		分词符	根据字段进行检索是否根据指定分词符拆分日志内容。启用：根据指定分词符拆分日志内容，根据拆分后的日志内容进行检索。当默认的分词符不满足需求时，你可以自定义设置分词符。日志服务所支持的分词符详情请参考控制台界面。不启用：不分词，每条日志将作为一个整体进行检索。例如日志内容为/var/log/access.log。如果设置分词符为正斜线（/），则日志将被被拆分为var、log和access.log。您使用其中的任意一个词都可以检索到该日志，例如var、va、access.log。如果您使用默认分词符，则日志将被被拆分为var、log 、access和log。您使用其中的任意一个词都可以检索到该日志，例如var、va、access。如果关闭了分词符，则整条日志为一个词/var/log/access.log。您需要通过完整的字符串/var/log/access.log 或字符串的模糊检索/var/log/* 才能检索到该日志。
操作	修改描述	索引字段的描述信息可用来帮助智能助手更好的提取并分析对应字段。智能助手功能仅支持华北2（北京）、华南1（广州）和华东2（上海）地域。

预留字段索引配置

对于没有预置索引的预留字段，例如 __content__ 字段，您可以通过预留字段索引手动为其设置索引。在索引配置页面，开启预留字段索引，并填写相关配置。

说明

目前仅 __content__ 字段支持设置预留字段索引。如果设置 __content__ 字段为 json 类型，支持开启对Json内所有文本自动索引功能。

支持同时开启全文索引和 __content__ 预留字段索引。同时开启后，会计算双倍的索引流量费用和索引存储空间费用。

索引流量说明

索引类型	说明
全文索引	字段名和字段值均以 text 类型存储，均会产生索引流量。
键值索引	text 类型：字段名和字段值均会产生索引流量。数值类型：long 类型和 double 类型的字段名不会产生索引流量，每个字段值占用的索引流量均为 8 字节。 JSON 类型：字段名和字段值（包括子字段）均会产生索引流量。未对 JSON 子字段创建索引时，该子字段为 JSON 类型字段的值，日志服务会按照 text 类型计算索引流量。为 JSON 子字段创建了索引时，日志服务根据该子字段的数据类型（text、long、double）计算索引流量。