使用 PostgreSQL 作为 Airflow 的元数据库

Apache Airflow 是一个用于调度和管理工作流的开源平台，它的核心是元数据库。Airflow默认使用 SQLite作为元数据后端，但是因为SQLite的并发性能差，所以在生产环境中使用 PostgreSQL 或 MySQL 作为元数据库更为常见。

本文将指导您将 Airflow 与 PostgreSQL 进行集成连接，具体步骤如下：

步骤 1：安装 PostgreSQL

可以使用以下命令在 Ubuntu 上安装 PostgreSQL：

sudo apt update
sudo apt install postgresql postgresql-contrib

如果您是 Mac 用户，请使用以下命令安装：

brew update
brew install postgresql

步骤 2：创建数据库和用户

使用以下命令创建一个名为 airflow 的数据库：

sudo -u postgres createdb airflow

使用以下命令创建一个名为 airflow 的用户并设置密码：

sudo -u postgres createuser -s -P airflow

在命令行提示符下，输入您要设置的密码：

Enter password for new role: 
Enter it again: 

步骤 3：修改 Airflow 配置文件

打开您的 Airflow 配置文件 airflow.cfg，找到以下行：

sql_alchemy_conn = sqlite:////home/ubuntu/airflow/airflow.db

将其替换为以下代码以使用 PostgreSQL：

sql_alchemy_conn = postgresql+psycopg2://airflow:yourpassword@localhost/airflow

将 yourpassword 替换为您在第 2 步中设置的密码。

步骤 4：初始化元数据库

运行以下命令初始化元数据库：

airflow db init

现在您已经成功地将 Airflow 与 PostgreSQL 集成连接。开始使用 Airflow，让您的工作流更高效！