在 PySpark SQL 中获取当前日期

在 PySpark SQL 中，获取当前日期可以使用 PySpark SQL 的 current_date() 函数。该函数返回当前日期，格式为 YYYY-MM-DD，例如 '2022-08-01'。

示例

from pyspark.sql.functions import current_date

# 创建一个 PySpark DataFrame，包含当前日期
df = spark.createDataFrame([(current_date(),)], ['current_date'])

# 显示数据
df.show(truncate=False)

输出：

+------------+
|current_date|
+------------+
|2022-08-01  |
+------------+

说明

上述示例中，我们首先导入 PySpark SQL 的 current_date() 函数，然后使用 spark.createDataFrame() 创建一个包含当前日期的 DataFrame。

在创建 DataFrame 时，我们使用了 (current_date(),) 作为数据集合，因为 current_date() 函数返回的是一个日期，需要用单元素元组包装。

最后，我们使用 df.show() 方法显示 DataFrame 的内容，可以看到我们成功获取了当前日期。

参考资料

• PySpark SQL API 文档