在 PySpark 数据框中删除包含特定值的行

在 PySpark 中，经常需要对数据框进行操作，其中之一是删除包含特定值的行。下面介绍几种实现方法。

环境设置

首先，我们需要创建 PySpark 环境并载入数据。

from pyspark.sql.functions import col

# 创建 SparkSession
spark = SparkSession \
    .builder \
    .appName("Delete Rows with Specific Value") \
    .getOrCreate()

# 读取数据
data = spark.read.csv("path/to/data.csv", header=True, inferSchema=True)

方法一：使用 where() 函数

可以使用 where() 函数筛选出不包含特定值的行。

# 删除包含特定值的行
data = data.where(col("column_name") != "specific_value")

上面的代码中，column_name 是要筛选的列名，specific_value 是指定的特定值。执行完以上代码后，data 数据框中不包含任何特定值的行。

方法二：使用 filter() 函数

filter() 函数与 where() 函数功能相似，具体示例如下：

# 删除包含特定值的行
data = data.filter(col("column_name") != "specific_value")

方法三：使用 filter() + rlike() 函数

如果要删除包含某些特定字符的行，可以使用 rlike() 函数实现。

# 删除包含特定字符的行
data = data.filter(~col("column_name").rlike("specific_string"))

上面的代码中，column_name 是要筛选的列名，specific_string 是指定的特定字符串（不包含引号）。执行完以上代码后，data 数据框中不包含任何包含 specific_string 的行。

总结

本文介绍了在 PySpark 数据框中删除包含特定值的行的三种方法，包括使用 where() 函数、使用 filter() 函数和使用 filter() + rlike() 函数。其中，前两种方法是筛选不包含特定值的行，而第三种方法是筛选不包含特定字符串的行。根据实际需求选择不同的方法即可。