版本要求 #

Python >= 3.8

环境安装 #

Spark Connect SDK 安装 #

emr_spark_connect-3.23.1-py3-none-any.whl

未知大小

python -m pip install --force-reinstall --no-deps emr_spark_connect-3.23.1-py3-none-any.whl

EMR Python Query SDK 安装 #

下载 SDK 包链接：准备工作：安装 SDK。

python -m pip install --force-reinstall python_serverless-1.0.3.11-py3-none-any.whl

PySpark 环境安装（3.5.1 版本） #

EMR pyspark 客户端

pyspark-3.5.1-py2.py3-none-any.whl

未知大小

python -m pip install --force-reinstall "pyspark[connect] @ file:///xxxxx/pyspark-3.5.1-py2.py3-none-any.whl"

Spark 环境安装（4.1.2 版本） #

可选择安装 EMR pyspark 客户端或开源客户端。

【推荐】EMR pyspark 客户端

pyspark-4.1.2-py2.py3-none-any.whl

未知大小

python -m pip install --force-reinstall "pyspark[connect] @ file:///xxxxx/pyspark-4.1.2-py2.py3-none-any.whl"

开源客户端

python -m pip install --force-reinstall pyspark-client==4.1.2

在项目的 pom.xml 中添加以下仓库配置和依赖：
指定 repo：

<repositories>
    <repository>
        <id>bytedance-public</id>
        <name>bytedance maven</name>
        <url>https://artifact.bytedance.com/repository/releases</url>
    </repository>
</repositories>

Spark 3.5.1：

<dependencies>
    <dependency>
        <groupId>com.bytedance.emr</groupId>
        <artifactId>emr-spark-connect-client</artifactId>
        <version>3.23.1.2-spark3.5.1</version>
    </dependency>
</dependencies>

Spark 4.1.2：

<dependencies>
    <dependency>
        <groupId>com.bytedance.emr</groupId>
        <artifactId>emr-spark-connect-client</artifactId>
        <version>3.23.1.2-spark4.1.2</version>
    </dependency>
</dependencies>