如何以表格格式显示 PySpark DataFrame？

在本文中，我们将以表格格式显示 PySpark 数据框的数据。我们将使用show()函数和toPandas函数以所需格式显示数据帧。

show()：用于显示数据框。

Syntax: dataframe.show( n, vertical = True, truncate = n)

where,

1. dataframe is the input dataframe
2. N is the number of rows to be displayed from the top ,if n is not specified it will print entire rows in the dataframe
3. vertical parameter specifies the data in the dataframe displayed in vertical format if it is true, otherwise it will display in horizontal format like a dataframe
4. truncate is a parameter us used to trim the values in the dataframe given as a number to trim

toPanads()： Pandas 代表面板数据结构，用于以表格等二维格式表示数据。

Syntax: dataframe.toPandas()

where, dataframe is the input dataframe

让我们创建一个示例数据框。

Python3

# importing module
import pyspark
 
# importing sparksession from
# pyspark.sql module
from pyspark.sql import SparkSession
 
# creating sparksession and giving
# an app name
spark = SparkSession.builder.appName('sparkdf').getOrCreate()
 
# list  of employee data with 5 row values
data = [["1", "sravan", "company 1"],
        ["2", "ojaswi", "company 2"],
        ["3", "bobby", "company 3"],
        ["4", "rohith", "company 2"],
        ["5", "gnanesh", "company 1"]]
 
# specify column names
columns = ['Employee ID', 'Employee NAME', 'Company Name']
 
# creating a dataframe from the lists of data
dataframe = spark.createDataFrame(data, columns)
 
print(dataframe)

输出：

DataFrame[Employee ID: string, Employee NAME: string, Company Name: string]

示例 1：使用不带参数的 show()函数。它将产生我们所拥有的整个数据帧。

蟒蛇3

# Display df using show()
dataframe.show()

输出：

示例 2：使用以 n 作为参数的 show()函数，显示前 n 行。

Syntax: DataFrame.show(n)

Where, n is a row

代码：

蟒蛇3

# show() function to get 2 rows
dataframe.show(2)

输出：

示例 3：

使用 show()函数和 vertical = True 作为参数。 垂直显示数据框中的记录。

Syntax: DataFrame.show(vertical)

vertical can be either true and false.

代码：

蟒蛇3

# display dataframe evrtically
dataframe.show(vertical = True)

输出：

示例 4：使用以 truncate 作为参数的 show()函数。 在所有列的每个值中显示第一个字母

蟒蛇3

# display dataframe with truncate
dataframe.show(truncate = 1)

输出：

示例 5：将 show() 与所有参数一起使用。

蟒蛇3

# display dataframe with all parameters
dataframe.show(n=3,vertical=True,truncate=2)

输出：

示例 6：使用 toPandas() 方法将其转换为 Pandas Dataframe，它看起来非常像一个表格。

蟒蛇3

# display dataframe by using topandas() function
dataframe.toPandas()

输出：