云搜索服务
云搜索服务
文档指南
请输入
- 文档首页
云搜索服务Logstash 用户指南管道管理管道介绍元数据迁移管道
复制全文
下载 pdf元数据迁移管道
文档反馈
问问助手在 Elasticsearch 或 OpenSearch 实例之间进行数据迁移时，需要迁移所有的索引元数据，包括索引和索引模板。云搜索服务 Logstash 的元数据迁移管道用于迁移元数据。本文介绍元数据迁移管道。
适用场景
支持将 Elasticsearch 或 OpenSearch 实例的元数据迁移到其他 Elasticsearch 或 OpenSearch 实例，迁移内容包括索引（index）配置和索引模板（_index_template 和 _template）配置，不包括以 . 开头的系统索引。
注意
配置了生命周期策略的索引模板无法迁移，不可包含在 include_template_list 中。
元数据迁移管道模板
{
"input": { # 源实例信息。
"hosts": "http://**a**.ivolces.com:9200", # 地址，必填。地址中的端口必填，若给定地址无端口，请填入 9200
"user": "elastic", # 鉴权用户名，必填。
"password": "*****" # 鉴权密码，必填。
},
"output": { # 目标实例信息。
"hosts": "http://**b**.ivolces.com:9200", # 地址，必填。
"user": "admin", # 鉴权用户名，必填。
"password": "*****" # 鉴权密码，必填。
},
"index": { # 索引配置。
"include_list": [ # 需要迁移的索引列表，"*" 表示迁移所有。
"*"
],
"exclude_list": [], # 需要排除的索引列表，优先级高于 include_list。
# settings 配置会和原索引 settings 合并，并覆盖原索引 settings 已有的同一配置项。若配置值为 null，会在同步索引时删除 settings 的此配置项
# 适用于 1.为迁移索引增加配置 2.源集群索引有火山不兼容配置时，可以设置值为 null，如下示例
# "settings": {"index":{"search":{"slowlog":{"level":null}}}}，可以跳过 index.search.slowlog.level 这个配置
"settings": null
},
"index_type": { # 仅用于 < ES 6 的版本，每个索引有多个类型的情况。
"include_list": [ # 需要迁移的索引类型列表，"*" 表示所有类型。
"*"
],
"auto_split": false, # 源索引有多个待迁移索引类型时，是否自动拆分不同类型到不同目标索引。
"split_index_name_pattern": "%s-index_type-%s", # 源索引有多个待迁移索引类型时且拆分到不同目标索引时，目标索引名 pattern。
"rename": "_doc" # 当目标集群为 ES 6 时，强制指定索引类型，默认为 _doc。如不需要重命名索引类型为 null。
},
"include_template_list": [ # 需要迁移的索引模板列表，"*" 表示迁移所有。若不需要迁移模板则设置成 [] 即可
"*"
]
}
说明
保存并部署元数据迁移管道后，当 Logstash 实例状态变为运行中时，可在日志中查看元数据迁移状态。如果日志内容中出现 [root]元数据迁移完成(metadata migrate finished)，且未出现 ERROR 等级的日志，表示元数据已迁移完成。具体操作，请参见查询日志。
迁移元数据并配置 Logstash
ES 6 版本中，单个索引 mapping 只有一个 _type，ES 7 以后版本 mapping 不支持设置 _type，因此索引迁移可以一对一完成。除 input 和 output 外，可不修改其他字段。
在 ES 2 和 ES 5 版本中，单个索引可能有多个 _type 的情况，可以分为三种迁移方式：
- 迁移源索引的指定 _type 数据。
- 源索引仅有一个 _type，迁移到同一目标索引。
- 源索引有多个 _type，仅迁移指定 _type 文档到同一目标索引，其余丢弃。
- 迁移源索引所有 _type 数据到同一个目标索引。
注意
当源索引多个或所有 _type 迁移到同一目标索引时，如果不同 _type 的 mapping 不一致或数据含义不一致，会导致脏数据。
- 迁移源索引所有_type 数据到不同的目标索引，目标索引名按照约定风格命名。
迁移源索引到同一目标索引
如果索引只有单个 _type ，则直接迁移。如果索引有多个 _type 则只迁移 _type 为 t_1 的元信息，且重命名目标所有索引 _type 为 _doc，则修改模版中的如下字段为 t_1 即可，其他字段按需填写。
{
"index_type": {
"include_list": [
"t_1"
],
},
}
在使用 Logstash 普通管道迁移数据时，如需丢弃其他 _type 的数据，可增加如下配置。
filter {
if [@metadata][_type] != "t_1" {
drop {}
}
}
迁移源索引的不同 _type 到不同的目标索引
如果索引只有单个 _type 则直接迁移目标索引名不变。如果索引有多个索引 _type 则目标索引名会根据{源索引名}-index_type-{源索引 type} 划分，且重命名所有目标索引 _type 为 _doc。
{
"index_type": {
"auto_split": true,
"split_index_name_pattern": "%s-index_type-%s",
"rename": "_doc"
}
}
在使用 Logstash 普通管道迁移数据时，在 output 插件中，index 配置如下。
output {
elasticsearch {
index => "%{[@metadata][_index]}-index_type-%{[@metadata][_type]}"
}
}
ES 7 和 ES 8 不支持设置 _type，故索引迁移可以一对一完成。除 input 和 output 外，可不修改其他字段。
OpenSearch 不支持设置 _type，故索引迁移可以一对一完成。除 input 和 output 外，可不修改其他字段。
最近更新时间：2026.03.31 18:46:03
这个页面对您有帮助吗？
有用
有用
无用
无用