使用 .all 多列的 PySpark 对应物

在 PySpark 中，我们可以使用 .all 方法对多个列进行逻辑运算，并返回对应行的布尔值。该方法的用法类似于 Pandas 的 all 方法。在本文中，我们将介绍 .all 方法的用法和一些例子。

用法

使用 .all 的基本语法如下：

df.select(col1, col2, col3).all()

其中，col1、col2、col3 为需要进行逻辑运算的列名。

返回值为一个新的 DataFrame，其中包含原 DataFrame 中每行的布尔运算结果。

例子

例子 1：检查某些列是否都大于某个值

我们可以使用 .all 方法检查一些列是否都大于某个值。例如，假设我们有一个 DataFrame 包含三个数值列 col1、col2 和 col3，我们想要检查这三列是否都大于 10。我们可以这样写：

from pyspark.sql.functions import col

df.select(col("col1"), col("col2"), col("col3")).all() > 10

返回的 DataFrame 包含每行的布尔运算结果。我们可以使用 .agg 方法来计算所有行的结果是否都为 True。agg 方法的用法类似于 Pandas 的 agg 方法。

from pyspark.sql.functions import col

df.select(col("col1"), col("col2"), col("col3")).all().agg({"*": "count", "0": "sum"}).show()

结果如下：

+--------+---+
|count(1)|  0|
+--------+---+
|    1000|599|
+--------+---+

其中，count(1) 表示 DataFrame 的行数，0 表示所有行中布尔运算结果为 True 的行数。因此，我们可以通过比较 count(1) 和 0 是否相等来判断三个列是否都大于 10。

例子 2：检查某些列是否都相等

我们也可以使用 .all 方法检查某些列是否都相等。例如，假设我们有一个 DataFrame 包含两个字符串列 col1 和 col2，我们想要检查这两列是否都相等。我们可以这样写：

from pyspark.sql.functions import col

df.select(col("col1"), col("col2")).all().groupby().min().show()

其中，groupby() 方法用于将整个 DataFrame 视为一组，并计算每行结果中的最小偏移量。结果表明，两列中所有值都相等时最小偏移量为 1，否则为 0。

总结

在 PySpark 中，.all 方法可用于对多个列进行逻辑运算，并返回对应行的布尔值。我们可以使用 agg 方法计算所有行的结果是否都为 True。注意，该方法适用于逻辑运算，但不适用于字符串比较。