如何替换 pyspark 数据框中的行值 - Python

如果你正在使用 PySpark 处理大规模数据，并且需要在数据框中替换某些行的值，那么你来对地方了。在这篇文章中，我们将介绍如何使用 PySpark 替换数据框中的行值。

1. 导入必要的模块

在开始之前，我们需要先导入 PySpark 和相关的模块。以下是导入模块的代码片段:

from pyspark.sql import SparkSession
from pyspark.sql.functions import col

我们使用 SparkSession 创建一个新的 Spark 应用程序，并使用 col 函数引用数据框的列。

2. 创建数据框

接下来，我们需要创建一个数据框，以便替换其行值。我们可以使用以下代码来创建一个数据框:

spark = SparkSession.builder.appName('replace_values').getOrCreate()

data = [("John", "Doe", 25), 
        ("Jane", "Doe", 22), 
        ("David", "Smith", 23),
        ("Eric", "Smith", 26),
        ("Sam", "Jones", 24)
       ]

df = spark.createDataFrame(data, ["first_name", "last_name", "age"])
df.show()

这个代码片段将创建一个包含名字、姓氏和年龄的数据框。

3. 在数据框中替换行值

最后，我们可以使用 withColumn 函数和 when 表达式来替换数据框中的行值。以下是如何替换数据框中名字为 "John" 的行的代码片段:

df = df.withColumn("first_name", 
                   when(col("first_name") == "John", "Adam")
                   .otherwise(col("first_name"))
                  )

df.show()

这个代码片段将把名字为 "John" 的行的名字更改为 "Adam"。

我们可以使用相同的方法来替换数据框中的任何行的值。只需更改 when 表达式中的条件和替换值即可。

结论

现在，你已经知道如何使用 PySpark 替换数据框中的行值了。这个技巧对于大规模数据处理非常有用，因为它可以帮助你快速修改数据框中的数据。