You need to enable JavaScript to run this app.
文档中心
E-MapReduce

E-MapReduce

复制全文
下载 pdf
Serverless Spark 作业:基于 Spark connect
作业管理:Notebook 进度条与 UI 插件
复制全文
下载 pdf
作业管理:Notebook 进度条与 UI 插件

Notebook 原生进度条

创建 SparkSession 时默认启用原生进度条。原生进度条示例如下,展示当前 Stage 执行进度、Task 数量、扫描数据量等信息:

增强进度条

增强进度条示例如下,在原生进度条基础上额外展示 Operation ID、Stage 明细、Task 执行进度、输入数据量和执行耗时等信息:

增强进度条安装配置方式:

  1. 安装依赖

    python -m pip install ipython ipywidgets
    
  2. 使用.useNotebookProgress()开启高级进度条

    spark = (
        EMRSparkConnectSession.builder
        .region(REGION)
        .credentials(StaticCredentials(access_key, secret_key))
        .serverId(SERVER_ID)
        .useNotebookProgress()
        .create()
    )
    

最近更新时间:2026.08.14 15:49:28
这个页面对您有帮助吗?
有用
有用
无用
无用