将 Spark 连接到 Postgres；将 Spark 连接到数据库 - Python

当你需要在 Spark 中使用 Postgres 数据库的数据时，需要将 Spark 连接到 Postgres 数据库。在这个教程中，我们将使用 Python 和 PySpark 库来实现将 Spark 连接到 Postgres 数据库的操作。

准备工作

在开始之前，请确保你已经有了以下几个必要的工具和组件：

• 安装了 Java 和 Python。
• 安装了 Apache Spark。
• 安装了访问 Postgres 数据库的 Python 模块 psycopg2。

步骤 1：创建数据库连接

首先，我们需要创建一个数据库连接。要创建数据库连接，我们需要指定 Postgres 数据库的主机名、端口、数据库名、用户名和密码。

import psycopg2

HOSTNAME = ''
PORT = ''
DATABASE = ''
USERNAME = ''
PASSWORD = ''

conn = psycopg2.connect(
    host=HOSTNAME,
    port=PORT,
    dbname=DATABASE,
    user=USERNAME,
    password=PASSWORD
)

步骤 2：将 Spark 连接到数据库

现在，我们已经成功创建了一个数据库连接，接下来我们需要将 Spark 连接到数据库。我们需要使用 SparkSession 对象来连接数据库。

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("Connect to Postgres Database") \
    .config('spark.jars.packages', 'org.postgresql:postgresql:42.2.16') \
    .getOrCreate()

jdbc_url = f"jdbc:postgresql://{HOSTNAME}:{PORT}/{DATABASE}"

df = spark.read.jdbc(
    url=jdbc_url,
    table='table_name',
    properties={
        'user': USERNAME,
        'password': PASSWORD
    }
)

df.show()

在上面的代码中，我们通过 SparkSession.builder 创建了一个 SparkSession 对象，然后设置了应用程序名称和访问 Postgres 数据库所需的 Spark 包库。接着，我们使用 jdbc 方法从 Postgres 数据库中读取数据，并将数据加载到 Spark 的 DataFrame 中。

结论

通过上面的操作，我们已经成功将 Spark 连接到 Postgres 数据库，并从数据库中读取了数据。使用 PySpark 和 psycopg2 模块是连接到 Postgres 数据库的常见方法。我们希望这个教程能为你了解到如何将 Spark 连接到 Postgres 数据库提供帮助。