没有列的火花数据框 - Python

在 PySpark 中，几乎每个开发者都必须处理有列的火花数据框。这些数据框是有结构化格式的，其中有一个或多个命名列。而有时，我们也需要处理没有列的数据。这些数据在 PySpark 中被称为未命名列。

未命名列是具有无结构数据的火花数据框。数据没有任何可识别的格式或名称。在 PySpark 中，未命名列通常用于数据的存储或传输。未命名列可以是任意类型的值，例如字符串、数字等。在 PySpark 中，未命名列可以使用 selectExpr() 函数进行处理。

以下是一个简单的代码片段，演示如何创建未命名列的火花数据框：

from pyspark.sql.functions import lit
from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("Unnamed Columns PySpark").getOrCreate()

data = [(1,), (2,), (3,)]
df = spark.createDataFrame(data).selectExpr("_1 as value")

df.show()

在这个代码片段中，我们使用 createDataFrame() 函数创建了一个没有列名的 PySpark 数据框，并使用 selectExpr() 函数为列添加了名称，以便我们可以对其进行操作。接下来，我们使用 show() 函数将数据框中的数据输出到控制台上。

PySpark 中没有列的数据框可以帮助开发者在处理数据时更加灵活。无论何时需要，我们都可以使用 selectExpr() 函数为未命名列添加名称。这使 PySpark 可以轻松地从各种无结构化数据源中读取数据，并将其转换为结构化的形式。