将 PySpark 数据帧转换为元组列表

PySpark 是 Apache Spark 的 Python API，它可以让你使用 Python 在大规模分布式系统上处理大量数据。在 PySpark 中，数据通常使用数据帧（DataFrame）来表示，数据帧是一种类似于表格的数据结构，其中每一列都具有名称和数据类型。

有时候，我们需要将 PySpark 数据帧转换为元组列表进行处理，例如将数据导入到 Pandas 中，或者将数据保存为 CSV 文件等。下面是一个示例 PySpark 数据帧：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("example").getOrCreate()

data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
columns = ["Name", "Age"]

df = spark.createDataFrame(data, columns)

这个数据帧包含了三行数据，每行数据有两个字段：姓名和年龄。

我们可以使用 collect() 方法将数据帧转换为 PySpark 的 Row 对象列表：

rows = df.collect()

然而，这种方式返回的是 Row 对象，不太方便处理，我们通常需要将它转换为元组列表：

tuples = [tuple(row) for row in rows]

这个代码片段将 Row 对象列表转换为元组列表，每个元组对应一行数据，元组中的每个元素对应一列数据，例如：

[('Alice', 25), ('Bob', 30), ('Charlie', 35)]

这个元组列表可以作为参数传递给许多 Python 库和函数，例如 Pandas 的 DataFrame 构造函数：

import pandas as pd

pdf = pd.DataFrame(tuples, columns=columns)

这个代码片段将元组列表转换为 Pandas 的数据帧，其中 columns 参数指定了数据帧的列名。