文档中心

大数据研发治理套件

在线开发

Python 开发

Python 文件开发用于在 NewIDE 的 Workspace 中创建、编辑和运行 .py 文件。您可以配置开发运行环境、依赖资源和参数，查看参数预览与调试记录。待验证脚本后，再通过 Python Activity 加入 Pipeline。

使用前提

您需要具备当前目录的文件创建或编辑权限，以及计算资源组的使用权限。
运行镜像应包含所需的 Python 版本，脚本读取的数据与依赖文件也需要具有相应访问权限。
Python 暂不提供 IDE 级断点调试。这里的调试是配置后运行当前脚本，并通过状态和日志检查结果。PySpark、多 Cell 或 Jupyter 交互场景使用 Notebook。

创建与编辑文件

进入项目的 Workspace，在有权限的目录中创建 Python 文件，或打开已有 .py 文件。
在编辑器中编写代码，保存文件。
以创建 hello_python.py 为例，可以参考下面的最小脚本内容：
```
import sys

print("Python 文件运行成功")
print("Python 版本：", sys.version.split()[0])
```
单击页面右侧相应的图标，分别配置执行设置、参数设置和参数预览。

说明

确认当前打开的是要运行的 .py 文件，再配置相应信息。

配置 Python 文件执行

通过编辑器右侧的执行设置、参数设置和参数预览按钮，查看当前文件的配置。

执行设置

通过执行设置功能，可以配置运行所需的计算资源、镜像、启动参数、环境变量、依赖资源和超时时间。

配置项	说明
计算资源组	选择有权限使用的资源组，提供开发运行所需的计算和网络能力。
镜像地址	填写脚本运行所需的镜像地址。Python 版本由镜像决定，当前支持 Python 3.7 和 Python 3.12，具体以页面可选项为准。
资源配置	按 CU 选择资源规格，1 CU 对应 1 Core、4 GB 内存。可用规格以所选计算资源组为准。
依赖资源	从 Workspace 选择运行所需的依赖文件。选择后，请检查引用路径和文件权限，并根据实际运行环境，确认支持的文件类型及准备方式。
依赖包	填写额外 Python 包，例如 pandas==2.2.2。依赖包与依赖资源分别配置，请按依赖类型选择对应配置项。
环境变量	配置脚本运行时需要的环境变量，格式为 KEY=VALUE。多个变量用英文分号`;`分隔，例如 KEY=VALUE;OTHER=VALUE。请勿填写明文密码或密钥。
启动参数	按行填写命令行参数，Python 脚本通过 `sys.argv[1:]` 获取。
超时时间（秒）	设置单次运行的超时时间，单位为秒；0 表示不限制运行时长。

配置完成后，请保存当前设置。当前页面的 Python 版本由镜像决定，不提供独立 Python 版本配置；VPC、子网、安全组、工作目录、运行身份和“继承/集成项目运行配置”等配置项，也不在文件开发页中单独配置。

参数设置

在参数设置中维护当前 Shell 文件使用的参数列表。您可以新增、编辑或删除参数。添加参数时，可以选择自定义、项目参数或外部传参三种参数类型，并填写参数名称和参数值。例如，添加自定义参数 biz_date，值为 20261013，用于验证业务日期。

注意

参数引用应使用当前版本支持的语法或参数选择器。其中，命令行参数在启动参数中填写，脚本中通过 sys.argv[1:] 获取。
参数列表中的名称与脚本接收方式需要匹配，不能把 Notebook 的全局变量注入方式直接套用到普通 Python 脚本。

参数预览

参数预览用于模拟调度时间与业务日期下的参数转换，便于在运行前检查实际参数值。参数预览的操作步骤如下：

单击参数设置页面的解析参数按钮，或展开右侧参数预览。
设置模拟的调度周期、执行时间、生效时间、业务日期和未来实例数，检查生成或填写的 Cron。
单击重新解析按钮，查看不同模拟实例对应的参数名称、格式和解析值。
参数不符合预期时，返回参数设置修改后再次预览。

说明

预览只帮助检查参数，不会保存调度计划，也不会创建正式 Pipeline 实例。单文件运行仍使用本次开发运行的参数配置。

运行与调试记录

调试操作使用当前开发配置，不产生正式 Pipeline Activity 实例。脚本包含上传、写入或删除等操作时，运行会实际执行这些逻辑，应使用测试数据验证。
运行调试操作步骤如下：

保存代码与配置，确认计算资源组、镜像和依赖资源可用。
在编辑器工具栏运行当前文件。
打开页面底部的调试记录，选择本次记录。
查看调试概览与调试日志，检查运行信息、环境准备、标准输出、标准错误等信息。

说明

示例脚本运行成功后，日志应包含 Python 文件运行成功 和所选镜像中的 Python 版本。若失败，先检查环境准备日志，再检查 Python 异常堆栈。
文件调试记录与 Pipeline 实例分别管理。单文件运行成功说明本次开发配置能够执行，正式编排还需验证 Pipeline 的参数、依赖、资源和运行权限。

保存与版本管理

代码保存在 .py 文件中，开发运行默认值由同目录隐藏 metadata 文件保存，例如：

hello_python.py
.hello_python.py.metadata.yaml

metadata 用于保存调试配置，不能代替脚本文件。使用 Git 管理代码时，可按项目协作方式一并管理调试配置；底层字段应由界面维护，建议通过界面维护配置，避免使用不兼容的字段。

加入 Pipeline

创建 Python Activity 后，选择当前 .py 文件，配置正式执行的资源、参数和依赖关系。首次选择文件时，可将调试默认值填入 Activity 的空字段。保存后 Activity 独立维护，修改文件调试配置不会自动覆盖已有的 Activity 配置。
将文件加入 Pipeline 后，核对 Activity 中的文件路径、资源、启动参数和依赖资源。当前页面不提供独立的工作目录配置项。

常见问题

问题	排查方法
切换文件后看到不同配置	确认当前激活文件；右侧配置随文件上下文切换。
`ModuleNotFoundError`	检查镜像和依赖资源，以及依赖准备日志。
镜像版本与预期不同	检查所选镜像名称和运行日志中的 Python 版本。
参数预览有值但脚本未收到	检查参数是否保存、引用方式和脚本接收方式；预览不会替代实际运行传参。
无法访问 EMR 数据	分别检查资源组网络与数据权限；PySpark 场景使用 Notebook。
文件调试成功但 Pipeline 失败	对比两处独立配置，检查正式运行参数、依赖、镜像和权限。

大数据研发治理套件

使用前提 #

创建与编辑文件 #

配置 Python 文件执行 #

执行设置 #

参数设置 #

参数预览 #

运行与调试记录 #

保存与版本管理 #

加入 Pipeline #

常见问题 #

相关文档 #