文档中心

大数据研发治理套件

产品概览

术语与概念映射

术语与概念映射

New IDE 使用 Project、Workspace、Pipeline、Activity、Instance 等对象描述数据工程开发和运维链路。理解这些术语，有助于在创建文件、配置 Pipeline、发布上线和排查实例时保持一致沟通。

New IDE 核心术语

项目与工作空间

DataLeap New IDE	Azure Data Factory	Databricks	说明
Project	Data Factory	Workspace	顶层资源组织单元，包含代码、工作流、权限与计算资源配置。
Workspace（工作区）	—	Workspace	用户的工作环境，与 Project 一一对应。
Subscription（订阅）	Subscription	Subscription	云资源的计费与管理单元

工作流与节点

DataLeap New IDE	Azure Data Factory	Databricks	说明
Pipeline（工作流）	Pipeline	Job	由多个 Activity 按依赖关系组成的工作流
Activity（节点）	Activity	Task	Pipeline 中的最小执行单元，如一段 SQL、一个 Notebook。
Pipeline Instance（工作流实例）	Pipeline Run	Job Run	Pipeline 的一次具体执行
Activity Instance（节点实例）	Activity Run	Task Run	Activity 的一次具体执行

调度与触发

DataLeap New IDE	Azure Data Factory	Databricks	说明
Schedule config	Trigger	Trigger / Schedule	定义工作流的触发条件（Cron / 事件驱动）
Cron	Schedule Trigger	Cron Schedule	基于时间的周期调度配置
手动触发	Manual Trigger	Run Now	用户手动发起一次工作流执行。

数据集成

DataLeap New IDE	Azure Data Factory	Databricks	说明
Copy Activity（数据集成节点）	Copy Activity	Ingestion Task	专用于数据搬运的工作流类型
Data Sources（数据源）	Linked Service	Connection	外部数据源的连接配置
Table	Dataset	Table	对数据源中特定数据对象的引用

开发与部署

DataLeap New IDE	Azure Data Factory	Databricks	说明
Branch（分支）	Git Branch	Branch	Git 分支，用于隔离开发。
Publish Meta（发布元信息）	ARM Template / CI/CD	Databricks Asset Bundle	将代码与配置打包发布至目标环境的机制。
Notebook	—	Notebook	交互式开发环境，支持多语言 Cell。
File	—	File	独立的代码文件（SQL / Python / Scala / Shell）。

参数与变量

DataLeap New IDE	Azure Data Factory	Databricks	说明
System Variable（系统变量）	System Variable	Built-in Variable	平台预置变量，如 `${date}`、`${hour}`。
Project Parameter（项目参数）	Global Parameter	—	项目级参数，所有工作流共享。
Pipeline Parameter（工作流参数）	Pipeline Parameter	Job Parameter	工作流级入参，调用时传入。
Pipeline Variable（工作流变量）	Pipeline Variable	—	工作流内部变量，可在 Activity 间传递。
Pipeline Output（工作流输出）	—	—
Activity Output（节点输出）	Activity Output	Task Value	Activity 的输出值，可被下游 Activity 引用。

权限与角色

DataLeap New IDE	Azure Data Factory	Databricks	说明
Admin	Contributor	Admin	项目管理员，拥有全部权限。
Developer	—	Developer	开发者，可编辑代码与工作流。
Operator	—	—	运维人员，可执行与监控任务。
Viewer	Reader	Viewer	只读角色，仅可查看。

参数引用语法对照

参数类型	DataLeap New IDE 语法	ADF 语法	说明
系统变量	`${date}`	`@pipeline().TriggerTime`	运行时自动替换的日期/时间变量
项目参数	`{{project.param_name}}`	`@pipeline().globalParameters.xxx`	项目级全局参数
工作流参数	`{{pipeline.params.param_name}}`	`@pipeline().parameters.xxx`	工作流入参
工作流变量	`{{pipeline.vars.var_name}}`	`@variables('xxx')`	工作流内部变量
节点输出	`{{activity(name).output.key}}`	`@activity('name').output.xxx`	上游节点输出引用
子工作流输出	`{{pipeline(name).output.key}}`	`@activity('name').output.pipelineReturnValue.xxx`	子工作流返回值引用

文件命名约定

资源类型	文件命名规则	示例
Pipeline 配置	`{name}.pipeline.yml`	`daily_etl.pipeline.yml`
SQL 脚本	`{name}.sql` + `{name}.sql.metadata.yml`	`extract.sql`
Python 脚本	`{name}.py` + `{name}.py.metadata.yml`	`transform.py`
Notebook	`{name}.notebook` + `{name}.notebook.metadata.yml`	`analysis.notebook`

最近更新时间：2026.06.30 23:26:19

这个页面对您有帮助吗？

有用

有用

无用

无用