本文介绍 Notebook 类型的 Activity 配置，用于在 Pipeline 中执行 Notebook 文件。

概述 #

Notebook Activity 执行一个已有的 Notebook 文件，支持混合 SQL Cell 与 Python/Scala Cell。Notebook 中的所有 Cell 按顺序依次执行。
适用场景：

• 包含数据探查、清洗、转换等多步骤混合逻辑的任务
• 需要在 SQL 和 Python 之间灵活切换的场景
• 需要在任务中进行可视化分析或输出中间结果

配置示例 #

- name: data_analysis
  type: notebook
  source: WORKSPACE
  path: /Workspace/Users/zhang3/notebooks/analysis.notebook
  sqlEngineType: emr_serverless_spark
  sqlEngineQueue: default
  sqlComputingResourceGroupName: default_sql_group
  sqlComputingResourceGroupId: 1
  generalComputingResourceGroupName: default_py_group
  generalComputingResourceGroupId: 2
  parameterValues:
    biz_date: "{{pipeline.parameters.biz_date}}"
    region: "cn-beijing"
  retryPolicy:
    maxRetries: 2
    minRetryIntervalMillis: 60000
  position:
    x: "200"
    y: "100"

字段说明 #

资源组配置规则 #

Notebook 的资源组配置取决于其包含的 Cell 类型：

sqlEngineType 可选值 #

参数传递 #

通过 parameterValues 向 Notebook 传入参数，参数在 Notebook 中可直接作为变量使用：

parameterValues:
  biz_date: "{{pipeline.parameters.biz_date}}"
  threshold: "100"

在 Notebook Python Cell 中引用：

# 参数自动注入为同名变量
print(biz_date)     # 输出：2026-06-01
print(threshold)    # 输出：100

在 Notebook SQL Cell 中引用：

SELECT * FROM orders WHERE dt = '${biz_date}'

使用建议 #