创建 SparkSession 时默认启用原生进度条。原生进度条示例如下,展示当前 Stage 执行进度、Task 数量、扫描数据量等信息:
增强进度条示例如下,在原生进度条基础上额外展示 Operation ID、Stage 明细、Task 执行进度、输入数据量和执行耗时等信息:
增强进度条安装配置方式:
安装依赖
python -m pip install ipython ipywidgets
使用.useNotebookProgress()开启高级进度条
spark = ( EMRSparkConnectSession.builder .region(REGION) .credentials(StaticCredentials(access_key, secret_key)) .serverId(SERVER_ID) .useNotebookProgress() .create() )