You need to enable JavaScript to run this app.
文档中心
大数据研发治理套件

大数据研发治理套件

复制全文
下载 pdf
Activity (任务节点)类型
通用 Activity 配置
复制全文
下载 pdf
通用 Activity 配置

本文介绍所有 Activity 类型共有的配置字段,包括基本属性、重试策略和代码来源。

通用字段

每个 Activity 均包含以下通用属性:

字段

类型

必填

说明

name

String

是

Activity 名称,当前 Pipeline 内唯一。只包含字母、数字和下划线,长度不超过 127。

type

String

是

Activity 类型标识(如 sql、notebook、jar 等)。

description

String

否

Activity 描述信息。

dependsOn

Object

否

在 Pipeline 中组织 Activity 的连线依赖,指定 Activity 执行的上下游关系。

retryPolicy

Object

否

重试策略。

position

Object

是

画布位置信息(x, y 坐标),用于可视化 DAG 编辑器渲染。

最小示例:

activities:
  - name: my_task
    type: notebook
    source: WORKSPACE
    path: /Workspace/Users/zhang3/sql/my_task.ipynb
    engineQueue: default
    position:
      x: 200
      y: 100

重试策略 retryPolicy

当 Activity 执行失败或超时时,系统可自动进行重试。重试通过 retryPolicy 字段配置:

retryPolicy:
  maxRetries: 3
  minRetryIntervalSeconds: 60
  timeoutSeconds: 3600
  retryOnTimeout: true

字段说明

字段

类型

必填

默认值

说明

maxRetries

Integer

否

0

最大重试次数。0 表示不重试。

minRetryIntervalSeconds

Integer

否

0

两次重试之间的最小间隔(秒)。0 表示立即重试。

timeoutSeconds

Integer

否

-1

单次执行超时时间(秒)。-1 表示不限制。超时后任务被强制终止。

retryOnTimeout

Boolean

否

false

超时后是否触发重试。为 true 时超时也视为失败并触发重试。

重试流程

Image

source 与 path

计算节点(Notebook、SQL、Jar)通过 source + path 组合定义代码来源:

source 值

path 含义

示例

WORKSPACE

项目工作空间内的文件路径

/Workspace/Users/zhang3/sql/extract.sql

TOS

火山引擎对象存储路径

tos://bucket/jars/app.jar

RESOURCE

资源中心注册的文件路径

/workspace/resources/my-etl-app.resource.yaml

支持参数引用:
path 中可使用项目参数动态替换路径片段:

source: WORKSPACE
path: "/Workspace/Users/{{project.code_owner}}/sql/extract.sql"

各 Activity 类型支持的 source:

Activity 类型

WORKSPACE

TOS

RESOURCE

Notebook

✓

✗

✗

SQL

✓

✗

✗

Jar

✓

✓

✓

position

position 定义 Activity 在可视化画布中的坐标位置。该字段由 DAG 编辑器自动管理,手动编写 YAML 时需指定初始位置:

position:
  x: 200
  y: 100

字段

类型

说明

x

String

水平坐标(像素)

y

String

垂直坐标(像素)

说明

在可视化画布中拖拽节点后,position 值会在点击“保存”按钮后更新到 YAML 文件中。

parameterValues

计算节点(Notebook、SQL)支持通过 parameterValues 向脚本传递参数:

parameterValues:
  biz_date: "{{pipeline.params.biz_date}}"
  target_region: "cn-beijing"
  threshold: "1000"

说明

详情

格式

键值对(Map<String, String>)

值来源

固定值、项目参数引用 {{project.}}、Pipeline 参数引用 {{pipeline.parmas.}}、Pipeline 变量引用 {{pipeline.vars.}}。参数引用具体可参见参数配置规则。

传递方式

参数注入到脚本的执行上下文中,脚本通过对应方式引用。

在 SQL 脚本中引用:

SELECT * FROM orders WHERE dt = '{{biz_date}}' AND region = '{{target_region}}'

在 Notebook 中引用:

# 参数自动注入为变量
print(${date})
print({{biz_date}})       # 2026-06-01
print({{target_region}})  # cn-beijing

Activity 命名规范

规范

说明

仅使用字母、数字、下划线

不支持中文、连字符、空格。

长度不超过 127 字符

—

Pipeline 内唯一

同一 Pipeline 中不能有重名 Activity。

语义化命名

建议使用 动作_对象 格式,如 extract_orders、transform_users。

最近更新时间:2026.08.19 19:25:01
这个页面对您有帮助吗?
有用
有用
无用
无用