📅  最后修改于: 2020-12-02 05:23:12        🧑  作者: Mango

ApacheAvro是一种与语言无关的数据序列化系统，由Hadoop之父Doug Cutting开发。这是一个简短的教程，概述了如何设置Avro以及如何使用Avro序列化和反序列化数据。本教程适用于希望使用Hadoop Framework学习大数据分析基础知识并成为成功的Hadoop开发人员的专业人员。对于想要使用Avro进行数据序列化和反序列化的发烧友来说，它将是一个方便的资源。先决条件在开始本...

📅  最后修改于: 2020-12-02 05:23:44        🧑  作者: Mango

要通过网络或其持久性存储传输数据，您需要对数据进行序列化。在Java和Hadoop提供的序列化API之前，我们有一个特殊的实用程序，称为Avro，这是一种基于模式的序列化技术。本教程教您如何使用Avro序列化和反序列化数据。 Avro提供了用于各种编程语言的库。在本教程中，我们将演示使用Java库的示例。什么是Avro?Apache Avro是与语言无关的数据序列化系统。它由Hadoop的父亲Do...

📅  最后修改于: 2020-12-02 05:24:27        🧑  作者: Mango

数据被序列化为两个目标-用于持久存储通过网络传输数据什么是序列化?序列化是将数据结构或对象状态转换为二进制或文本形式以通过网络传输数据或存储在某些持久性存储中的过程。一旦数据通过网络传输或从持久性存储中检索出来，就需要再次进行反序列化。序列化称为封送，反序列化称为解封。Java序列化Java提供了一种称为对象序列化的机制，在该机制中，对象可以表示为字节序列，包括对象的数据以及有关对象的类型和存储在...

📅  最后修改于: 2020-12-02 05:24:52        🧑  作者: Mango

Apache软件基金会为Avro提供了各种发行版。您可以从Apache镜像下载所需的发行版。让我们看看如何设置环境以与Avro配合使用-下载Avro要下载Apache Avro，请继续以下步骤-打开网页Apache.org。您将看到Apache Avro的主页，如下所示-单击项目→版本。您将获得发布列表。选择最新版本，它会带您到下载链接。mirror.nexcess是一个链接，您可以在其中找到Av...

📅  最后修改于: 2020-12-02 05:25:26        🧑  作者: Mango

Avro是基于模式的序列化实用程序，接受模式作为输入。尽管有各种可用的架构，但Avro遵循其自己的定义架构标准。这些模式描述了以下细节-文件类型(默认记录)记录位置记录名称记录中的字段及其相应的数据类型使用这些架构，您可以使用更少的空间以二进制格式存储序列化的值。这些值存储时没有任何元数据。创建Avro模式Avro模式以JavaScript Object Notation(JSON)文档格式创建，...

📅  最后修改于: 2020-12-02 05:25:49        🧑  作者: Mango

在上一章中，我们描述了Avro的输入类型，即Avro模式。在本章中，我们将说明在Avro模式的序列化和反序列化中使用的类和方法。SpecificDatumWriter类此类属于包org.apache.avro.specific。它实现了DatumWriter接口，该接口将Java对象转换为内存中的序列化格式。建设者S.No.Description1SpecificDatumWriter(Schem...

📅  最后修改于: 2020-12-02 05:26:31        🧑  作者: Mango

通过生成对应于模式的类或使用解析器库，可以将Avro模式读入程序。本章介绍如何通过生成类并使用Avr序列化数据来读取架构。通过生成类进行序列化要使用Avro序列化数据，请执行以下步骤-编写一个Avro模式。使用Avro实用程序编译架构。您将获得与该架构相对应的Java代码。用数据填充架构。使用Avro库对其进行序列化。定义架构假设您想要具有以下详细信息的架构-FieldNameidagesalar...

📅  最后修改于: 2020-12-02 05:26:53        🧑  作者: Mango

如前所述，可以通过生成对应于该模式的类或使用解析器库将Avro模式读入程序。本章介绍如何通过生成类来读取架构以及如何使用Avro反序列化数据。通过生成类进行反序列化序列化的数据存储在文件emp.avro中。您可以使用Avro反序列化并阅读它。请按照下面给出的步骤从文件中反序列化序列化的数据。第1步使用SpecificDatumReader类创建DatumReader接口的对象。第2步为emp类实例...

📅  最后修改于: 2020-12-02 05:27:23        🧑  作者: Mango

通过生成对应于模式的类或使用解析器库，可以将Avro模式读入程序。在Avro中，数据始终以其对应的架构存储。因此，我们总是可以在不生成代码的情况下读取模式。本章介绍如何使用解析器库读取架构以及如何使用Avro序列化数据。使用解析器库进行序列化要序列化数据，我们需要读取模式，根据模式创建数据，并使用Avro API序列化模式。以下过程将序列化数据而不生成任何代码-第1步首先，从文件中读取架构。为此，...

📅  最后修改于: 2020-12-02 05:27:47        🧑  作者: Mango

如前所述，可以通过生成与模式相对应的类或使用解析器库将Avro模式读入程序。在Avro中，数据始终以其对应的架构存储。因此，我们始终可以读取序列化的项目而无需生成代码。本章介绍如何使用解析器库读取架构以及如何使用Avro反序列化数据。使用解析器库反序列化序列化的数据存储在文件mydata.txt中。您可以使用Avro反序列化并阅读它。请按照下面给出的步骤从文件中反序列化序列化的数据。第1步首先，从...

📅  最后修改于: 2020-12-02 05:28:05        🧑  作者: Mango

以下资源包含有关AVRO的其他信息。请使用它们来获得有关此方面的更深入的知识。AVRO上的有用链接AVRO–AVRO的官方网站。AVRO Wiki–AVRO的维基百科参考。关于AVRO的有用书籍要在此页面上注册您的网站，请发送电子邮件至...

📅  最后修改于: 2020-12-02 05:28:17        🧑  作者: Mango

ApacheAvro是一种与语言无关的数据序列化系统，由Hadoop之父Doug Cutting开发。这是一个简短的教程，概述了如何设置Avro以及如何使用Avro序列化和反序列化数据。...