使用 SQOOP 导入和导出数据

SQOOP 是一个用于在 Apache Hadoop 和关系型数据库之间进行数据传输的工具。它的特点是能够自动地将数据库中的数据转换成适合存储在 Hadoop 分布式文件系统（HDFS）中的格式，或者反过来。这样，我们就可以利用 Hadoop 的强大存储和计算能力，提高数据处理的效率。下面，我们将介绍如何使用 SQOOP 导入和导出数据。

导入数据

要想导入数据到 HDFS 中，我们需要执行一个 SQOOP 命令，指定从哪个数据库、哪个表中导出数据，以及导出到哪个 HDFS 目录中。

以下是一个导出 MySQL 中的表数据到 HDFS 的命令示例：

sqoop import \
--connect jdbc:mysql://localhost/user_database \
--username root \
--password password \
--table user_info \
--m 1 \
--target-dir /user/hadoop/user_info

上述命令的含义如下：

• --connect：指定需要连接的数据库地址和要导出的数据库名。
• --username：指定数据库用户名。
• --password：指定数据库密码。
• --table：指定需要导出的数据表名。
• --m：指定使用的 mapreduce 任务数。这里设置为 1，表示使用单个 mapreduce 任务来导入数据。
• --target-dir：指定导出的数据存储在 HDFS 中的目录。

导出数据

要想将 HDFS 中的数据导出到关系型数据库中，我们需要执行一个相应的 SQOOP 命令，指定从哪个 HDFS 目录读取数据，以及将数据导出到哪个数据库的哪个表中。

以下是一个将 HDFS 中的数据导出到 MySQL 的表中的命令示例：

sqoop export \
--connect jdbc:mysql://localhost/user_database \
--username root \
--password password \
--table user_info \
--input-fields-terminated-by '\t' \
--input-null-string '\\N' \
--input-null-non-string '\\N' \
--export-dir /user/hadoop/user_info

上述命令的含义如下：

• --connect：指定需要连接的数据库地址和要导入的数据库名。
• --username：指定数据库用户名。
• --password：指定数据库密码。
• --table：指定需要导入的数据表名。
• --input-fields-terminated-by：指定输入数据中的字段分隔符。
• --input-null-string：指定输入数据中的字符串型的空值标示符。
• --input-null-non-string：指定输入数据中的非字符串型的空值标示符。
• --export-dir：指定导出的数据存储在 HDFS 中的目录。

以上是 SQOOP 的简单介绍和使用方法。在实际的应用中，我们可以根据不同的需求，选用不同的命令参数，从而满足各种不同的数据导入导出需求。