📅  最后修改于: 2020-11-30 04:21:55        🧑  作者: Mango

HCatalog是用于Hadoop的表存储管理工具，可将Hive元存储的表格数据公开给其他Hadoop应用程序。它使使用不同数据处理工具(Pig，MapReduce)的用户可以轻松地将数据写入网格。 HCatalog确保用户不必担心数据存储在何处或以何种格式存储。这是一个小教程，仅解释HCatalog的基础知识和使用方法。本教程适用于希望使用Hadoop框架从事大数据分析职业的专业人员。一般而言，...

📅  最后修改于: 2020-11-30 04:22:16        🧑  作者: Mango

什么是HCatalog?HCatalog是用于Hadoop的表存储管理工具。它将Hive元存储的表格数据公开给其他Hadoop应用程序。它使使用不同数据处理工具(Pig，MapReduce)的用户可以轻松地将数据写入网格。它确保用户不必担心数据存储在何处或以何种格式存储。HCatalog就像Hive的关键组件一样工作，它使用户能够以任何格式和任何结构存储其数据。为什么选择HCatalog?为正确的...

📅  最后修改于: 2020-11-30 04:23:33        🧑  作者: Mango

Hive，Pig和HBase等所有Hadoop子项目都支持Linux操作系统。因此，您需要在系统上安装Linux版本。 HCatalog在2013年3月26日与Hive安装合并。从Hive-0.11.0版本开始，HCatalog随Hive安装一起提供。因此，请按照下面给出的步骤安装Hive，Hive将自动在系统上安装HCatalog。步骤1：验证JAVA安装在安装Hive之前，必须在系统上安装Ja...

📅  最后修改于: 2020-11-30 04:23:53        🧑  作者: Mango

可以从命令$ HIVE_HOME / HCatalog / bin / hcat调用HCatalog命令行界面(CLI)，其中$ HIVE_HOME是Hive的主目录。hcat是用于初始化HCatalog服务器的命令。使用以下命令初始化HCatalog命令行。如果安装正确完成，那么您将获得以下输出-HCatalog CLI支持以下命令行选项-Sr.NoOptionExample & Descrip...

📅  最后修改于: 2020-11-30 04:24:15        🧑  作者: Mango

本章介绍如何创建表以及如何在表中插入数据。在HCatalog中创建表的约定与使用Hive创建表非常相似。创建表语句创建表是用于使用HCatalog在Hive Metastore中创建表的语句。其语法和示例如下-句法例让我们假设您需要使用CREATE TABLE语句创建一个名为employee的表。下表列出了employee表中的字段及其数据类型-Sr.NoField NameData Type1E...

📅  最后修改于: 2020-11-30 04:24:35        🧑  作者: Mango

本章说明如何更改表的属性，例如更改表名称，更改列名称，添加列以及删除或替换列。修改表语句您可以使用ALTER TABLE语句更改Hive中的表。句法该语句根据我们希望在表中修改哪些属性而采用以下任何语法。下面介绍了一些方案。重命名为…声明以下查询将表从employee重命名为emp。变更声明下表包含employee表的字段，并显示要更改的字段(粗体)。Field NameConvert from ...

📅  最后修改于: 2020-11-30 04:24:55        🧑  作者: Mango

本章介绍如何在HCatalog中创建和管理视图。数据库视图是使用CREATE VIEW语句创建的。可以从单个表，多个表或另一个视图创建视图。要创建视图，用户必须根据特定的实现具有适当的系统特权。创建视图语句CREATE VIEW创建具有给定名称的视图。如果已经存在相同名称的表或视图，则会引发错误。您可以使用IF NOT EXISTS跳过该错误。如果没有提供列名，则视图的列名将自动从定义的SELEC...

📅  最后修改于: 2020-11-30 04:25:09        🧑  作者: Mango

您通常希望列出数据库中的所有表或列出表中的所有列。显然，每个数据库都有其自己的语法来列出表和列。Show Tables语句显示所有表的名称。默认情况下，它列出当前数据库中的表或带有IN子句的指定数据库中的表。本章介绍如何在HCatalog中列出当前数据库中的所有表。显示表格声明SHOW TABLES的语法如下-以下查询显示表列表-成功执行查询后，您将看到以下响应-...

📅  最后修改于: 2020-11-30 04:25:32        🧑  作者: Mango

分区是表格数据的条件，用于创建单独的表或视图。 SHOW PARTITIONS列出了给定基表的所有现有分区。分区按字母顺序列出。在Hive 0.6之后，还可以指定分区规范的各个部分以过滤结果列表。您可以使用SHOW PARTITIONS命令查看特定表中存在的分区。本章介绍如何列出HCatalog中特定表的分区。显示分区声明语法如下-以下查询删除一个名为employee的表-成功执行查询后，您将看到...

📅  最后修改于: 2020-11-30 04:25:47        🧑  作者: Mango

创建索引索引不过是表的特定列上的指针。创建索引意味着在表的特定列上创建指针。它的语法如下-例让我们以一个例子来理解索引的概念。使用我们之前使用的同一员工表以及ID，姓名，薪水，指定和部门字段。在员工表的薪水列上创建一个名为index_salary的索引。以下查询创建索引-它是指向薪金列的指针。如果修改了该列，则使用索引值存储更改。删除索引以下语法用于删除索引-以下查询删除索引index_salar...

📅  最后修改于: 2020-11-30 04:26:28        🧑  作者: Mango

HCatalog包含用于并行输入和输出而无需使用MapReduce的数据传输API。该API使用表和行的基本存储抽象来从Hadoop集群读取数据并将数据写入其中。数据传输API主要包含三个类；这些是-HCatReader-从Hadoop集群读取数据。HCatWriter-将数据写入Hadoop集群。DataTransferFactory-生成读取器和写入器实例。该API适用于主从节点设置。让我们进...

📅  最后修改于: 2020-11-30 04:27:04        🧑  作者: Mango

HCatInputFormat和HCatOutputFormat接口用于从HDFS读取数据，并在处理后使用MapReduce作业将结果数据写入HDFS。让我们详细说明输入和输出格式接口。HCatInputFormatHCatInputFormat与MapReduce作业一起使用，以从HCatalog管理的表中读取数据。 HCatInputFormat公开了一个Hadoop 0.20 MapRedu...

📅  最后修改于: 2020-11-30 04:27:36        🧑  作者: Mango

HCatLoader和HCatStorerAPI与Pig脚本一起使用，可以在HCatalog管理的表中读取和写入数据。这些接口不需要特定于HCatalog的设置。最好对Apache Pig脚本有一些了解，以便更好地理解本章。有关更多参考，请阅读我们的Apache Pig教程。装载机HCatLoader与Pig脚本一起使用，可以从HCatalog管理的表中读取数据。使用以下语法通过HCatloade...

📅  最后修改于: 2020-11-30 04:27:53        🧑  作者: Mango

以下资源包含有关HCatalog的其他信息。请使用它们来获得有关此方面的更深入的知识。HCatalog上的有用链接HCatalog Wiki–HCatalog的维基百科参考。Hortonworks-HCatalog-HCatalog的Hortonworks参考。关于HCatalog的有用书籍要在此页面上注册您的网站，请发送电子邮件至...

📅  最后修改于: 2020-11-30 04:28:06        🧑  作者: Mango

HCatalog是用于Hadoop的表存储管理工具，可将Hive元存储的表格数据公开给其他Hadoop应用程序。它使使用不同数据处理工具(Pig，MapReduce)的用户可以轻松地将数据写入网格。 HCatalog确保用户不必担心数据存储在何处或以何种格式存储。这是一个小教程，仅解释HCatalog的基础知识和使用方法。...