文档中心

大数据研发治理套件

请输入

Pipeline 开发

创建与编辑 Pipeline

本文介绍在 Dataleap New IDE 中创建和编辑 Pipeline 的完整流程，涵盖 DAG 画布编辑器的使用、基本信息配置、调度与依赖设置、参数与变量管理以及配置验证。

DAG 画布编辑器

DAG 画布编辑器是 Pipeline 可视化编排的核心界面，提供拖拽式的工作流搭建体验。

画布操作

操作	说明
添加节点	点击添加节点按钮，选择需要的节点类型。
建立依赖	从上游节点的输出锚点拖拽连线到下游节点的输入锚点。
删除节点	选中节点后按删除按钮。
删除连线	选中连线后按 Delete 键。
节点配置	点击节点，打开节点配置面板。
画布缩放	滚轮缩放、或使用底部工具栏的缩放按钮。
画布平移	按住空格键拖拽画布。
全选	`Ctrl/Cmd + A` 选中所有节点。
撤销/重做	`Ctrl/Cmd + Z` / `Ctrl/Cmd + Shift + Z`

添加节点

可用的 Activity 类型：

类别	包含节点
计算节点	Notebook、SQL、Jar、Copy Data
控制节点	If/Else、For Each、Until/Do While、Execute Pipeline
数据感知节点	Checker
变量节点	Set Variable

Pipeline 基本信息配置

创建 Pipeline 后需配置以下基本信息：

配置项	字段	说明
Pipeline 名称	`metadata.name`	唯一标识名，只包含字母、数字和下划线，长度不超过 127。发布后不建议修改。
描述	`spec.description`	Pipeline 的用途说明。
展示名称	`spec.displayName`	用于界面展示，支持中文和特殊字符，最长 255 字符。
执行身份	`spec.runAs`	格式为 `User/{user_id}`，决定任务执行时的身份与权限。
调度资源组	`spec.schedulingResourceGroupName` `spec.schedulingResourceGroupId`	指定调度引擎使用的资源组。

命名规则

metadata.name 在项目内唯一，发布时系统自动维护 name 与发布态 Pipeline ID 的映射。
如果两个 .pipeline.yml 文件中 metadata.name 相同，它们发布时会发布到同一个 Pipeline。
Pipeline 一经生产发布后不建议修改 name（修改会导致发布为新的 Pipeline）。
如需重命名，应使用 spec.displayName 字段，修改展示名称。

调度/依赖配置

调度与依赖配置的相关说明，请参见调度配置。

参数与变量配置

参数与变量配置的相关说明，请参见参数配置规则。

配置验证

Pipeline 在保存和发布前需通过配置验证，确保运行时不会出现低级错误。

自动验证项

验证项	说明
必填字段检查	`metadata.name`、`spec.runAs`、`spec.trigger` 等必填字段不能为空。
DAG 合法性	Activity 依赖关系不能形成环路。
名称唯一性	同一 Pipeline 内 Activity 名称不能重复
引用合法性	`dependsOn` 中引用的 Activity 名称必须存在于当前 Pipeline 中。
路径存在性	`source: WORKSPACE` 类型的 Activity 引用的文件路径需存在于工作空间。
参数引用合法性	`parameterValues` 中引用的参数/变量名需已定义。

保存/发布前置检查

时机	行为
保存	保存时弹出警告，但不阻止保存。
发布	发布前强制通过全部验证项，不通过则阻止发布。

常见验证错误与解决方式

错误信息	原因	解决方式
循环依赖检测	Activity A → B → C → A 形成环路	检查并断开环路中的某条依赖。
Activity 名称重复	两个 Activity 使用了相同的 `name`	修改其中一个的名称。
未知 Activity 引用	`dependsOn` 引用了不存在的 Activity 名称	检查拼写或补充缺失的 Activity。
文件路径不存在	`path` 指向的脚本文件未创建	先创建脚本文件再配置 Activity。

最近更新时间：2026.06.30 23:26:19

这个页面对您有帮助吗？

有用

无用

大数据研发治理套件

DAG 画布编辑器 #

画布操作 #

添加节点 #

Pipeline 基本信息配置 #

命名规则 #

调度/依赖配置 #

参数与变量配置 #

配置验证 #

自动验证项 #

保存/发布前置检查 #

常见验证错误与解决方式 #