如何在 Pyspark 数据框中复制行 N 次？

有时，我们需要在 PySpark 数据框中复制行。这可以通过使用 unionAll() 方法实现。以下是一个示例程序，展示了如何在 PySpark 数据框中将每行重复3次：

from pyspark.sql.functions import lit

# 创建一个示例数据框
data = [("Alice", 25), ("Bob", 30)]
df = spark.createDataFrame(data, ["Name", "Age"])

# 复制每行3次并合并结果
df_repeated = df.unionAll(df).unionAll(df)
df_repeated.show()

输出结果为：

+-----+---+
| Name|Age|
+-----+---+
|Alice| 25|
|  Bob| 30|
|Alice| 25|
|  Bob| 30|
|Alice| 25|
|  Bob| 30|
+-----+---+

在上述示例中，我们首先使用 createDataFrame() 方法创建了一个数据框。然后，我们使用 unionAll() 方法将原始数据框和它本身合并3次，从而得到一个新的数据框，其中每行都被重复了3次。

我们还使用了 lit() 函数将数字3转换为一个常量列，这个常量列可以与原始数据框的每行合并。通过多次调用 unionAll() 方法，我们可以将每行复制任意次，并获得我们想要的结果。

注意事项

复制行可能会导致数据框变得非常大。可能需要进行额外的内存管理，以确保不会超出计算资源的限制。另外，使用多次 unionAll() 方法可能会对性能产生一定影响。因此，建议在测试和调试过程中注意这些问题。