Pyspark 从 Redshift 读取 - Python

在数据分析和处理中，使用Pyspark从关系型数据库中读取数据是一个很常见的任务。而Redshift是AWS提供的一种高性能的云数据仓库，它可以存储和处理大量的结构化和半结构化数据。本文将介绍如何使用Pyspark从Redshift中读取数据。

环境搭建

为了使用Pyspark访问Redshift，你需要安装以下组件：

• 适当版本的Java：因为Spark是使用Java编写的，所以需要安装JDK；
• Pyspark：通过pip install pyspark来安装；
• spark-redshift库：可以使用pip install spark-redshift命令来安装。

读取数据

要使用Pyspark从Redshift读取数据，需要先创建一个SparkSession对象，然后调用read方法来读取数据。以下是一个简单的示例来读取Redshift中的数据：

from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .appName("RedshiftRead") \
    .getOrCreate()

df = spark.read \
    .format("com.databricks.spark.redshift") \
    .option("url", "jdbc:redshift://<endpoint>:<port>/<database>") \
    .option("user", "<username>") \
    .option("password", "<password>") \
    .option("query", "<query>") \
    .load()

df.show()

• <endpoint>是Redshift数据库的地址；
• <port>是Redshift数据库的端口；
• <database>是要连接的数据库名称；
• <username>是Redshift数据库的用户名；
• <password>是Redshift数据库的密码；
• <query>是读取数据的SQL语句。

总结

使用Pyspark从Redshift读取数据非常容易。只需使用SparkSession中的read方法，然后在option中指定Redshift数据库的连接信息以及要读取的数据，即可快速获取数据。