📅  最后修改于: 2020-11-29 08:20:02        🧑  作者: Mango

Sqoop是一种旨在在Hadoop和关系数据库服务器之间传输数据的工具。它用于将数据从MySQL，Oracle等关系数据库导入到Hadoop HDFS，并从Hadoop文件系统导出到关系数据库。这是一个简短的教程，解释了如何在Hadoop生态系统中使用Sqoop。本教程是为渴望使用Hadoop框架和Sqoop从事大数据分析的专业人士准备的。一般而言，从事分析的ETL开发人员和专业人员也可以使用本教...

📅  最后修改于: 2020-11-29 08:20:21        🧑  作者: Mango

传统的应用程序管理系统，即使用RDBMS的应用程序与关系数据库的交互，是生成大数据的来源之一。由RDBMS生成的此类大数据存储在关系数据库结构中的关系数据库服务器中。当Hadoop生态系统的大数据存储和分析器(如MapReduce，Hive，HBase，Cassandra，Pig等)出现时，他们需要一种工具来与关系数据库服务器进行交互，以导入和导出驻留在其中的大数据。在这里，Sqoop在Hadoo...

📅  最后修改于: 2020-11-29 08:21:27        🧑  作者: Mango

由于Sqoop是Hadoop的子项目，因此只能在Linux操作系统上运行。请按照以下步骤在系统上安装Sqoop。步骤1：验证JAVA安装在安装Sqoop之前，您需要在系统上安装Java。让我们使用以下命令来验证Java安装-如果您的系统上已经安装了Java，则会看到以下响应-如果您的系统上未安装Java，请执行以下步骤。安装Java请按照下面给出的简单步骤在系统上安装Java。第1步通过访问以下链...

📅  最后修改于: 2020-11-29 08:22:16        🧑  作者: Mango

本章介绍如何将数据从MySQL数据库导入Hadoop HDFS。 “导入工具”将单个表从RDBMS导入到HDFS。表中的每一行都被视为HDFS中的一条记录。所有记录都作为文本数据存储在文本文件中，或者作为二进制数据存储在Avro和Sequence文件中。句法以下语法用于将数据导入HDFS。例让我们以名为emp，emp_add和emp_contact的三个表为例，它们位于MySQL数据库服务器中名为...

📅  最后修改于: 2020-11-29 08:22:35        🧑  作者: Mango

本章介绍如何将所有表从RDBMS数据库服务器导入到HDFS。每个表数据都存储在一个单独的目录中，并且目录名与表名相同。句法以下语法用于导入所有表。例让我们以从userdb数据库导入所有表为例。数据库userdb包含的表列表如下。以下命令用于从userdb数据库导入所有表。注–如果使用import-all-tables，则必须强制该数据库中的每个表都必须具有主键字段。以下命令用于将所有表数据验证到H...

📅  最后修改于: 2020-11-29 08:22:56        🧑  作者: Mango

本章介绍如何将数据从HDFS导出回RDBMS数据库。目标表必须存在于目标数据库中。作为Sqoop输入的文件包含记录，这些记录称为表中的行。读取这些记录并将它们解析为一组记录，并使用用户指定的定界符定界。缺省操作是使用INSERT语句将所有记录从输入文件插入数据库表。在更新模式下，Sqoop生成UPDATE语句，该语句将现有记录替换到数据库中。句法以下是导出命令的语法。例让我们以HDFS中文件中的员...

📅  最后修改于: 2020-11-29 08:23:17        🧑  作者: Mango

本章介绍如何创建和维护Sqoop作业。 Sqoop作业创建并保存导入和导出命令。它指定参数以识别和调用已保存的作业。这种调用或重新执行在增量导入中使用，增量导入可以将更新后的行从RDBMS表导入到HDFS。句法以下是用于创建Sqoop作业的语法。创建作业(-创建)在这里，我们正在创建一个名为myjob的作业，该作业可以将表数据从RDBMS表导入到HDFS。以下命令用于创建将数据从db数据库中的em...

📅  最后修改于: 2020-11-29 08:23:39        🧑  作者: Mango

本章介绍“ codegen”工具的重要性。从面向对象应用程序的角度来看，每个数据库表都有一个DAO类，其中包含用于初始化对象的“ getter”和“ setter”方法。此工具(-codegen)自动生成DAO类。它基于Table Schema结构以Java生成DAO类。 Java定义在导入过程中被实例化。该工具的主要用途是检查Java是否丢失了Java代码。如果是这样，它将使用字段之间的默认定界...

📅  最后修改于: 2020-11-29 08:23:59        🧑  作者: Mango

本章介绍如何使用Sqoop“评估”工具。它允许用户对各个数据库服务器执行用户定义的查询，并在控制台中预览结果。因此，用户可以期望导入结果表数据。使用eval，我们可以评估可以是DDL或DML语句的任何类型的SQL查询。句法Sqoop eval命令使用以下语法。选择查询评估使用eval工具，我们可以评估任何类型的SQL查询。让我们举一个在db数据库的employee表中选择有限行的示例。以下命令用于...

📅  最后修改于: 2020-11-29 08:24:14        🧑  作者: Mango

本章介绍如何使用Sqoop列出数据库。 Sqoop列表数据库工具分析并针对数据库服务器执行“ SHOW DATABASES”查询。此后，它列出了服务器上的当前数据库。句法以下语法用于Sqoop list-databases命令。样品查询以下命令用于列出MySQL数据库服务器中的所有数据库。如果该命令成功执行，则它将显示MySQL数据库服务器中的数据库列表，如下所示。...

📅  最后修改于: 2020-11-29 08:24:29        🧑  作者: Mango

本章介绍如何使用Sqoop列出MySQL数据库服务器中特定数据库的表。 Sqoop列表表工具解析并针对特定数据库执行“ SHOW TABLES”查询。此后，它列出了数据库中的当前表。句法Sqoop list-tables命令使用以下语法。样品查询以下命令用于列出MySQL数据库服务器的userdb数据库中的所有表。如果命令执行成功，则它将在userdb数据库中显示表列表，如下所示。...

📅  最后修改于: 2020-11-29 08:24:45        🧑  作者: Mango

Sqoop问题与解答旨在帮助学生和专业人员准备各种认证考试和求职面试。本节提供了一些有用的示例性面试问题和多项选择题(MCQ)及其答案以及适当的解释。SNQuestion/Answers Type1Sqoop Interview QuestionsThis section provides a huge collection of Sqoop Interview Questions with th...

📅  最后修改于: 2020-11-29 08:25:04        🧑  作者: Mango

以下资源包含有关Sqoop的其他信息。请使用它们来获得有关该主题的更深入的知识。Sqoop上的有用链接Sqoop–Sqoop官方主页。Sqoop-Sqoop用户指南Sqoop-Wiki-在Sqoop Wiki上查阅《入门指南》。关于Sqoop的有用书籍要在此页面上注册您的网站，请发送电子邮件至...

📅  最后修改于: 2020-11-29 08:25:17        🧑  作者: Mango

Sqoop是一种旨在在Hadoop和关系数据库服务器之间传输数据的工具。它用于将数据从MySQL，Oracle等关系数据库导入到Hadoop HDFS，并从Hadoop文件系统导出到关系数据库。这是一个简短的教程，解释了如何在Hadoop生态系统中使用Sqoop。...