Pipeline 是 DataLeap New IDE 提供的一个Pipeline管理系统流程，可帮助您通过可视化拖拽的形式来创建任务、添加上下游依赖关系、执行等操作。它提供了一个可视化的 Pipeline 搭建界面，您可以通过多种引擎下的任务类型来定义 Pipeline 中的各个步骤。此外，内部子任务类型无需单独设置调度执行频率、时间等参数，只需在外部整体 Pipeline 中进行配置即可，从而提高任务开发效率。

新建 Pipeline #

1. 登录 DataLeap 控制台，进入 New IDE 项目平台。

   说明

   首次进入 New IDE 项目，系统会进行沙箱启动操作，待启动成功后正常进入主界面。

2. 选择工作流编排，进入工作流编排页面。
   

3. 单击新建工作流按钮，进入创建ETL工作流页面，设置相关信息后，完成创建。

   参数	说明
   *名称	工作流的名称，字段填充，可编辑。
   *类型	工作流的类型，仅支持 ETL 工作流，默认选中。
   *保存至	工作流的保存路径，自动填充为当前登录用户目录下，可编辑。
   *选择模版	工作流采用的模版，支持以下模板选项： Empty Pipeline：空的工作流。 Notebook：创建工作流，包含一个 Notebook 活动。 Copy Data：创建工作流，包含一个数据复制活动。 If Statement：创建工作流，包含一个 If 语句活动。

设计 Pipeline #

添加节点 #

1. 通过以下任一方式进入工作流配置页面：

   • 工作流任务创建完成后，会直接进入工作流配置页面。
   • 单击工作流列表中的工作流名称，进入工作流配置界面。
     

2. 单击添加其他节点按钮，在弹出的窗口中，选择要添加的节点，将一个节点添加到画布中。若添加多个节点，可重复添加操作。可根据实际业务场景，选择不同节点类型，组合成一个工作流。

3. 通过可视化拖拉拽的方式，将多个不同的任务进行混合编排设计。

4. 通过任务节点中心的点，用拉线的方式来形成节点间的上下游依赖关系。依赖关系添加后，您可单击画板右上方的自动布局按钮，形成按顺序依赖的 DAG 关系图。
   

5. 还可对已创建的任务节点进行以下操作：

   操作项	说明
   编辑节点	单击选中一个活动节点，可以在下面的活动属性栏查看其详情，并进行信息编辑。具体节点操作请参见 Pipeline 开发 > 节点类型。 说明 节点内部的调度设置中，没有任务依赖相关的配置，即内部节点不能单独被外部任务依赖或依赖外部任务。仅 Pipeline 任务整体能与外部任务形成依赖关系。
   删除节点/连线	鼠标悬停在某个活动节点上，单击显示的删除图标按钮，可将创建的节点从工作流中删除。 注意 删除操作会从工作流中直接删除节点，且不会进入回收站，需谨慎操作。
   删除连线	单击选中两个节点之间的连接线，单击显示的删除图标按钮，可将节点之间的依赖关系解除。

典型 Pipeline 结构 #

以下是一条典型的 ETL 工作流结构：

各节点的具体配置操作请参见 Pipeline 开发各节点的说明，如Checker（数据感知）、SQL、Copy Data等。

Pipeline 调度设置 #

节点配置完成后，在整体工作流任务的右侧导航栏中，单击工作流配置按钮，进入调度配置窗口，可以在此设置基础信息、调度属性、依赖等信息，详细参数设置请参见调度与依赖。

运行 Pipeline #

工作流节点任务逻辑与参数配置完成后，可执行以下操作运行工作流任务：

1. 单击编辑器上方的保存按钮，保存工作流配置。
2. 单击发布按钮，将先启动配置验证，待验证通过后，再发起工作流发布。

后续操作 #

Pipeline 任务发布成功后，您可前往 Pipeline 运维页面，进行任务的关闭、运行监控等运维操作。