文档中心

大数据研发治理套件

Pipeline 开发

创建与编辑 Pipeline

本文介绍在 Dataleap New IDE 中创建和编辑 Pipeline 的完整流程，涵盖 DAG 画布编辑器的使用、基本信息配置、调度与依赖设置、参数与变量管理以及配置验证。

约束限制

开通大数据分析、分布式数据自治或 DataOps敏捷研发服务后，才可创建并管理 Pipeline。开通服务的操作请参见 2 DataLeap 服务信息。

创建 Pipeline

登录 DataLeap 控制台，进入新版工作流项目（New IDE）。
说明
首次进入 New IDE 项目，系统需要后套启动沙箱，启动成功后将进入主界面。
选择工作流编排，进入工作流编排页面。

单击新建工作流按钮，进入创建ETL工作流页面，设置相关信息后，完成创建。

参数	说明
*名称	工作流的名称，字段填充，可编辑。
*类型	工作流的类型，仅支持 ETL 工作流，默认选中。
*保存至	工作流文件的保存路径，自动填充为当前登录用户目录下，可编辑。关于 Pipeline 文件的详细介绍请参见Pipeline 配置文件。
*选择模版	工作流采用的模版，支持以下模板选项： Empty Pipeline：空的工作流。 Notebook：创建工作流，包含一个 Notebook 活动。 Copy Data：创建工作流，包含一个数据复制活动。 If Statement：创建工作流，包含一个 If 语句活动。

DAG 画布编辑器

DAG 画布编辑器是 Pipeline 可视化编排的核心界面，提供拖拽式的工作流搭建体验。

画布操作

操作	说明
添加节点	点击添加节点按钮，选择需要的节点类型。
建立依赖	从上游节点的输出锚点拖拽连线到下游节点的输入锚点。
删除节点	选中节点后按删除按钮。
删除连线	选中连线后按 Delete 键。
节点配置	点击节点，打开节点配置面板。
画布缩放	滚轮缩放、或使用底部工具栏的缩放按钮。
画布平移	按住空格键拖拽画布。
全选	`Ctrl/Cmd + A` 选中所有节点。
撤销	`Ctrl/Cmd + Z`

添加节点

可用的 Activity 类型：

类别	包含节点
计算节点	Notebook、SQL、Jar、Copy Data
控制节点	If/Else、For Each、Do While、Execute Pipeline
数据感知节点	Checker
元数据变量节点	Set Variable
质量节点	Data Quality SQL

Pipeline 基本信息配置

基本信息

创建 Pipeline 后需配置以下基本信息：

配置项	字段	说明
Pipeline 名称	`metadata.name`	唯一标识名，只包含字母、数字和下划线，长度不超过 127。发布后不建议修改。
描述	`spec.description`	Pipeline 的用途说明。
展示名称	`spec.displayName`	用于界面展示，支持中文和特殊字符，最长 255 字符。
执行身份	`spec.runAs`	格式为 `User/{user_id}`，决定任务执行时的身份与权限。
调度资源组	`spec.schedulingResourceGroupName` `spec.schedulingResourceGroupId`	指定调度引擎使用的资源组。

命名规则

metadata.name 在项目内唯一，发布时系统自动维护 name 与发布态 Pipeline ID 的映射。
如果两个 .pipeline.yml 文件中 metadata.name 相同，它们发布时会发布到同一个 Pipeline。
Pipeline 一经生产发布后不建议修改 name（修改会导致发布为新的 Pipeline）。
如需重命名，应使用 spec.displayName 字段，修改展示名称。

调度/依赖配置

调度与依赖配置的相关说明，请参见调度配置。

参数与变量配置

参数与变量配置的相关说明，请参见参数配置规则。

配置验证

Pipeline 在保存和发布前需通过配置验证，确保运行时不会出现低级错误。

自动验证项

验证项	说明
必填字段检查	`metadata.name`、`spec.runAs`、`spec.trigger` 等必填字段不能为空。
DAG 合法性	Activity 依赖关系不能形成环路。
名称唯一性	同一 Pipeline 内 Activity 名称不能重复
引用合法性	`dependsOn` 中引用的 Activity 名称必须存在于当前 Pipeline 中。
路径存在性	`source: WORKSPACE` 类型的 Activity 引用的文件路径需存在于工作空间。
参数引用合法性	`parameterValues` 中引用的参数/变量名需已定义。

保存/发布前置检查

时机	行为
保存	保存时弹出警告，但不阻止保存。
发布	发布前强制通过全部验证项，不通过则阻止发布。支持以下两种发布方式：发布：仅发布当前 Pipeline，不执行 Git 操作。提交并发布：提交当前 Pipeline YAML，并将当前分支推送至远端后发布。说明仅保存至 Git 文件夹的 Pipeline 才支持提交并发布。

时机

行为

保存

保存时弹出警告，但不阻止保存。

发布

发布前强制通过全部验证项，不通过则阻止发布。
支持以下两种发布方式：

发布：仅发布当前 Pipeline，不执行 Git 操作。
提交并发布：提交当前 Pipeline YAML，并将当前分支推送至远端后发布。

说明

仅保存至 Git 文件夹的 Pipeline 才支持提交并发布。

常见验证错误与解决方式

错误信息	原因	解决方式
循环依赖检测	Activity A → B → C → A 形成环路。	检查并断开环路中的某条依赖。
Activity 名称重复	两个 Activity 使用了相同的 `name`。	修改其中一个的名称。
未知 Activity 引用	`dependsOn` 引用了不存在的 Activity 名称。	检查拼写或补充缺失的 Activity。
文件路径不存在	`path` 指向的脚本文件未创建。	先创建脚本文件再配置 Activity。

其他管理操作

创建 Pipeline 后，您还可以按需执行以下管理操作：

编辑 Pipeline
单击某条信息的编辑按钮，可以修改 Pipeline 的配置信息。
重命名 Pipeline
单击某条信息的重命名按钮，在弹出的窗口中，可以修改 Pipeline 的名称。
说明
重命名后，需要发布 Pipeline，重命名才会对线上 Pipeline 生效。
删除 Pipeline
单击某条信息的删除按钮，二次确认后，可以删除该 Pipeline 文件。Pipeline 删除后不可恢复，请谨慎操作！
注意
- 在 Pipeline 文件存放的目录下，也可执行删除操作，会先将 Pipeline 文件删除至垃圾桶中，具体操作可参见文件与文件夹操作。
- 删除 Pipeline 文件后，已发布的 Pipeline 不会被同时删除，如您需要彻底删除，还需到 Pipeline 运维页面进行删除，具体操作请参见Pipeline 运维。

最近更新时间：2026.09.18 12:06:04

这个页面对您有帮助吗？

有用

无用

大数据研发治理套件

约束限制 #

创建 Pipeline #

DAG 画布编辑器 #

画布操作 #

添加节点 #

Pipeline 基本信息配置 #

基本信息 #

命名规则 #

调度/依赖配置 #

参数与变量配置 #

配置验证 #

自动验证项 #

保存/发布前置检查 #

常见验证错误与解决方式 #

其他管理操作 #