本文介绍 DataLeap New IDE 中数据管道从开发到生产上线的完整工作流程。

流程概览 #

创建分支 → 开发编码 → 本地调试 → 提交代码 → Merge Request → Code Review → 合入主干 → Bundle 发布 → 生产运行

DataLeap New IDE 采用 Git 原生的开发模式，所有代码和 Pipeline 配置以文件形式存储在 Git 仓库中，开发到上线的每一步都有版本记录和审批控制。

各阶段说明 #

1. 创建开发分支 #

开发者从主干分支（通常为 main 或 master）创建 Feature Branch，在独立分支上进行开发工作。

• 操作方式：
  • 在 Web IDE 左下角切换分支，点击"新建分支"。
  • 分支命名建议：feature/<功能描述> 或 fix/<问题描述>。
• 分支隔离的好处：
  • 多名开发者可并行开发互不干扰。
  • 开发过程中的中间状态不影响主干和生产环境。
  • 便于按功能粒度进行 Code Review。

2. 开发与编码 #

在 Feature Branch 上进行代码编写和 Pipeline 编排：

3. 开发调试 #

开发环境中可直接运行和调试：

• 脚本调试：在 SQL 编辑器或 Notebook 中即时执行，查看结果。
• Pipeline 调试：在开发环境中手动触发 Pipeline 运行，验证 DAG 编排逻辑和参数传递。

4. 提交代码 #

调试通过后，将代码变更提交至 Git 仓库：

• 在 Web IDE 的 Git 面板中查看变更文件列表。
• 编写清晰的 commit message，说明本次变更内容。
• 推送至远端分支。

5. 创建 Merge Request #

将 Feature Branch 的变更合入主干分支前，需创建 Merge Request（MR）：

• 填写 MR 标题和描述，说明变更背景和影响范围。
• 指定 Reviewer（代码审查人）。
• 系统自动展示文件 diff，便于审查。

6. Code Review #

Reviewer 审查代码变更：

审查通过后 Reviewer 批准 MR，代码合入主干分支。

7.发布 #

代码合入主干后，通过发布中心将 Pipeline 发布至生产环境：

• 在发布中心选择需要发布的 Pipeline。
• 确认发布内容和环境参数。
• 执行发布，系统自动将配置部署到调度系统。

8. 生产运行与监控 #

Pipeline 发布后进入生产调度：

• 调度系统根据 trigger 配置自动生成实例。
• 实例按依赖关系和优先级执行。
• 通过监控面板查看运行状态，异常时触发告警。

环境与角色 #

工作流最佳实践 #