You need to enable JavaScript to run this app.
文档中心
E-MapReduce

E-MapReduce

复制全文
下载 pdf
Serverless Spark 作业:基于 Spark connect
作业可视化分析
复制全文
下载 pdf
作业可视化分析

可集成第三方库执行可视化分析作业,以下示例为客户端安装 matplotlib(pip install matplotlib)后,将 Spark 聚合结果转为 Pandas DataFrame 并绑定可视化图表:

from pyspark.sql import SparkSession
from pyspark.sql.functions import sum as spark_sum
import matplotlib.pyplot as plt

# 2. 构造示例数据
data = [
    ("A", 10),
    ("B", 20),
    ("A", 15),
    ("C", 30),
    ("B", 25),
    ("C", 10),
]

df = spark.createDataFrame(data, ["category", "value"])

# 3. 用 PySpark 做聚合
result_df = df.groupBy("category") \
    .agg(spark_sum("value").alias("total_value")) \
    .orderBy("category")

result_df.show()

# 4. 转成 Pandas DataFrame
pdf = result_df.toPandas()

# 5. 用 matplotlib.pyplot 画图
plt.figure(figsize=(6, 4))
plt.bar(pdf["category"], pdf["total_value"])

plt.xlabel("Category")
plt.ylabel("Total Value")
plt.title("PySpark Aggregation Result")
plt.grid(axis="y", linestyle="--", alpha=0.7)

plt.show()

最近更新时间:2026.09.20 17:59:16
这个页面对您有帮助吗?
有用
有用
无用
无用