术语与概念映射--大数据研发治理套件-火山引擎

文档中心

大数据研发治理套件

产品概览

术语与概念映射

术语与概念映射

New IDE 使用 Project、Workspace、Pipeline、Activity、Instance 等对象描述数据工程开发和运维链路。理解这些术语，有助于在创建文件、配置 Pipeline、发布上线和排查实例时保持一致沟通。

New IDE 核心术语

项目与工作空间

DataLeap New IDE	Azure Data Factory	Databricks	说明
Project	Data Factory	Workspace	顶层资源组织单元，包含代码、管道、权限与计算资源配置
Workspace（工作区）	—	Workspace	用户的工作环境，与 Project 一一对应
Subscription（订阅）	Subscription	Subscription	云资源的计费与管理单元

管道与任务

DataLeap New IDE	Azure Data Factory	Databricks	说明
Pipeline（管道）	Pipeline	Job	由多个 Activity 按依赖关系组成的工作流
Activity（活动）	Activity	Task	Pipeline 中的最小执行单元，如一段 SQL、一个 Notebook
Pipeline Instance（管道实例）	Pipeline Run	Job Run	Pipeline 的一次具体执行
Activity Instance（活动实例）	Activity Run	Task Run	Activity 的一次具体执行

调度与触发

DataLeap New IDE	Azure Data Factory	Databricks	说明
Schedule config	Trigger	Trigger / Schedule	定义管道的触发条件（Cron / 事件驱动）
Cron	Schedule Trigger	Cron Schedule	基于时间的周期调度配置
手动触发	Manual Trigger	Run Now	用户手动发起一次管道执行

数据集成

DataLeap New IDE	Azure Data Factory	Databricks	说明
Ingestion Pipeline（采集管道）	Copy Activity	Ingestion Task	专用于数据搬运的管道类型
Connection（连接）	Linked Service	Connection	外部数据源的连接配置
Table	Dataset	Table	对数据源中特定数据对象的引用

开发与部署

DataLeap New IDE	Azure Data Factory	Databricks	说明
Branch（分支）	Git Branch	Branch	Git 分支，用于隔离开发
Bundle（部署包）	ARM Template / CI/CD	Databricks Asset Bundle	将代码与配置打包发布至目标环境的机制
Notebook	—	Notebook	交互式开发环境，支持多语言 Cell
File	—	File	独立的代码文件（SQL / Python / Scala / Shell）

参数与变量

DataLeap New IDE	Azure Data Factory	Databricks	说明
System Variable（系统变量）	System Variable	Built-in Variable	平台预置变量，如 `${date}`、`${hour}`
Project Parameter（项目参数）	Global Parameter	—	项目级参数，所有管道共享
Pipeline Parameter（管道参数）	Pipeline Parameter	Job Parameter	管道级入参，调用时传入
Pipeline Variable（管道变量）	Pipeline Variable	—	管道内部变量，可在 Activity 间传递
Activity Output（活动输出）	Activity Output	Task Value	Activity 的输出值，可被下游 Activity 引用

权限与角色

DataLeap New IDE	Azure Data Factory	Databricks	说明
Admin	Contributor	Admin	项目管理员，拥有全部权限
Developer	—	Developer	开发者，可编辑代码与管道
Operator	—	—	运维人员，可执行与监控任务
Viewer	Reader	Viewer	只读角色，仅可查看

参数引用语法对照

参数类型	DataLeap New IDE 语法	ADF 语法	说明
系统变量	`${date}`	`@pipeline().TriggerTime`	运行时自动替换的日期/时间变量
项目参数	`{{project.param_name}}`	`@pipeline().globalParameters.xxx`	项目级全局参数
管道参数	`{{pipeline.params.param_name}}`	`@pipeline().parameters.xxx`	管道入参
管道变量	`{{pipeline.vars.var_name}}`	`@variables('xxx')`	管道内部变量
活动输出	`{{activity(name).output.key}}`	`@activity('name').output.xxx`	上游活动输出引用
子管道输出	`{{pipeline(name).output.key}}`	`@activity('name').output.pipelineReturnValue.xxx`	子管道返回值引用

文件命名约定

资源类型	文件命名规则	示例
Pipeline 配置	`{name}.pipeline.yml`	`daily_etl.pipeline.yml`
SQL 脚本	`{name}.sql` + `{name}.sql.metadata.yml`	`extract.sql`
Python 脚本	`{name}.py` + `{name}.py.metadata.yml`	`transform.py`
Notebook	`{name}.notebook` + `{name}.notebook.metadata.yml`	`analysis.notebook`

最近更新时间：2026.06.12 11:44:14

这个页面对您有帮助吗？

有用

有用

无用

无用