文档中心

云搜索服务

管道管理

创建管道

您可以创建普通管道采集和处理数据，管道配置中包含 input、output 和 filter（可选）插件。input 和 output 插件用于配置输入和输出数据源，filter 插件用于对数据进行过滤或预处理。您还可以创建元数据迁移管道在 Elasticsearch/OpenSearch 实例之间迁移数据。支持最多 20 个管道并行运行。本文介绍如何创建管道。

前提条件

已创建 Logstash 实例且 Logstash 实例处于运行中状态。具体操作，请参见创建 Logstash 实例。

操作步骤

登录云搜索服务控制台。

在左侧导航栏，选择数据处理 > Logstash。

在 Logstash 实例列表，单击目标实例的名称，进入基本信息页签。

在左侧选择管道管理页签，然后点击创建管道。

在创建管道面板，配置以下参数。

参数	说明
管道类型	选择普通管道或元数据迁移管道。详细信息，请参见普通管道和元数据迁移管道。
管道名称	管道的唯一标识。命名规则如下：只能以字母开头。长度为 1~128 个字符。只能包含字母、数字、下划线（_）和中划线（-）。
管道描述	（可选）管道的描述信息。长度需要在 1~256 个字符内。
Config配置	在编辑框中，输入配置内容。您也可以单击右侧的引用模板按钮，在弹出的模板列表中选择模板，然后单击确定，将模板内容引用到编辑框中，再根据需要修改配置内容。普通管道配置内容详情请参见 Structure of a pipeline。配置内容包含以下插件： input：指定输入数据源。Logstash 支持的输入数据源类型请参见 Input plugins。 filter：对数据进行过滤或者预处理。Logstash 支持的 filter 插件请参见 Filter plugins。说明此插件仅针对普通管道。 output：指定目标数据源。Logstash 支持的输入数据源类型请参见 Output plugins。 index：指定待迁移的索引。说明此插件仅针对元数据迁移管道。为了提升安全性，如果在配置管道时使用了 JDBC 驱动，需要在 jdbc_connection_string 参数后面添加 allowLoadLocalInfile=false&autoDeserialize=false。否则当您添加 Logstash 配置文件时，调度系统会返回校验失败的提示，例如 RequestIllegal: jdbc_connection_string => jdbc:mysql://***.com:3306/db_name?allowLoadLocalInfile=false&autoDeserialize=false。

（可选）如果创建管道的管道类型为普通管道，继续配置以下参数。

参数	说明
管道工作线程	管道的工作线程数量，即并行执行管道的 filter 和 output 插件的工作线程数量。默认值为实例的 CPU 核数。
管道批处理延迟	管道批处理大小不满足时，每个批次最大的等待时间。默认值： 50。单位：ms。
管道批处理大小	每个批次处理的最大事件数量。默认值： 125。
队列类型	用于事件缓冲的排队模型，可选值：基于内存的队列基于磁盘的持久化队列
队列最大字节数	队列中可存放的最大字节数量，需确保该值小于实例单节点的磁盘容量。默认值：1024。单位：MiB。
队列检查点写入数	在强制执行检查点时已写入的最大的事件数量。若设置为 0，则表示无限制。默认值：1024。

根据需要单击保存或保存并部署。

保存：仅保存管道信息，不实际运行。保存后，系统会返回管道管理页签。可在管道列表中，单击目标管道操作列下的部署，触发实例重启并使配置生效。

保存并部署：将管道信息保存在 Logstash 实例中，触发实例重启并使配置生效。

最近更新时间：2026.04.27 16:22:33

这个页面对您有帮助吗？

有用

无用