如何从 PySpark DataFrame 中获取随机行?

PySpark是一个非常强大的大数据处理工具，由于其高效、可扩展性强，被越来越多的企业和数据科学家所采用。在PySpark中，DataFrame是一种非常常见的数据结构，它类似于SQL表，并提供了方便的API来操作数据。

有时我们需要从DataFrame中随机获取一些数据，例如我们在进行模型训练时，需要从数据集中获取一部分样本来进行训练和测试，这时就需要用到从DataFrame中获取随机行的技巧。

下面我们将介绍两种在PySpark中从DataFrame中获取随机行的方法：

方法一：使用sample函数

在PySpark中，DataFrame提供了sample函数来从DataFrame中获取一些随机行。sample函数的原型为：

sample(withReplacement=None, fraction=None, seed=None)

其中，withReplacement表示是否可以重复抽样，默认为False，fraction表示数据集的抽样比例，seed是随机数生成器的种子值。

例如，我们可以使用如下代码从DataFrame中获取一部分随机行：

df.sample(False, 0.5, seed=0)

这里，我们指定了抽样比例为0.5，表示从原数据集中随机抽取一半的行，seed表示随机数种子值。

方法二：使用orderBy和limit函数

另一种从DataFrame中获取随机行的方法是，先使用orderBy函数将数据集随机排序，然后再使用limit函数获取前几行数据。例如：

from pyspark.sql.functions import rand

df.orderBy(rand(seed=0)).limit(10)

这里，我们首先使用rand函数将数据集随机排序，然后使用limit函数获取前10行数据。注意，这种方法只适合数据集较小的情况，因为随着数据集的增大，orderBy会很耗费计算资源。

以上就是在PySpark中从DataFrame中获取随机行的两种方法。需要根据具体情况选择合适的方法来获取随机数据。