📅  最后修改于: 2020-11-18 08:38:43        🧑  作者: Mango

Apache NiFi是一个开源数据摄取平台。它是由NSA开发的，目前正在维护中，Apache基金会支持进一步的开发。它基于Java，并在Jetty服务器中运行。它是根据Apache许可版本2.0许可的。在本教程中，我们将解释Apache NiFi的基础知识及其功能。本教程适用于希望通过简单的步骤学习Apache NiFi及其编程概念基础的软件专业人士。它通过适当的示例描述了Apache NiFi...

📅  最后修改于: 2020-11-18 08:39:08        🧑  作者: Mango

Apache NiFi是一个功能强大，易于使用且可靠的系统，可在不同的系统之间处理和分发数据。它基于NSA开发的Niagara Files技术，然后在8年后捐赠给Apache Software Foundation。它根据2004年1月的Apache许可版本2.0进行分发。Apache NiFi的最新版本是1.7.1。Apache NiFi是一个实时数据提取平台，可以在不同源和目标系统之间传输和管...

📅  最后修改于: 2020-11-18 08:39:25        🧑  作者: Mango

Apache NiFi由Web服务器，流控制器和处理器组成，它们在Java虚拟机上运行。它还具有3个存储库Flowfile存储库，内容存储库和资源存储库，如下图所示。流文件存储库该存储库存储遍历apache NiFi数据流的每个流文件的当前状态和属性。该存储库的默认位置在apache NiFi的根目录中。可以通过更改名为“ nifi.flowfile.repository.directory”的属...

📅  最后修改于: 2020-11-18 08:39:41        🧑  作者: Mango

在本章中，我们将学习Apache NiFi的环境设置。 Apache NiFi的安装步骤如下-步骤1-在您的计算机中安装当前版本的Java。请在您的机器上设置JAVA_HOME。您可以检查版本，如下所示：在Windows操作系统(OS)中(使用命令提示符)-在UNIX OS(使用终端)中：步骤2-从https://nifi.apache.org/download.html下载Apache NiFi...

📅  最后修改于: 2020-11-18 08:40:05        🧑  作者: Mango

Apache是基于Web的平台，用户可以使用Web UI对其进行访问。 NiFi用户界面非常互动，可提供有关NiFi的多种信息。如下图所示，用户可以访问有关以下属性的信息-活动线程排队的数据总数传输远程进程组不传输远程进程组运行组件停止的组件无效的组件禁用组件最新版本化流程组本地修改的版本化流程组版本过时的流程组本地修改和陈旧版本的过程组同步失败版本处理组Apache NiFi的组件Apache ...

📅  最后修改于: 2020-11-18 08:40:37        🧑  作者: Mango

Apache NiFi处理器是创建数据流的基本模块。每个处理器具有不同的功能，这有助于创建输出流文件。下图所示的数据流是使用GetFile处理器从一个目录中获取文件，然后使用PutFile处理器将其存储在另一目录中。获取文件GetFile进程用于从特定目录中获取特定格式的文件。它还为用户提供了其他选项，以便对提取进行更多控制。我们将在下面的属性部分中讨论它。GetFile设置以下是GetFile处...

📅  最后修改于: 2020-11-18 08:40:59        🧑  作者: Mango

在本章中，我们将讨论Apache NiFi中的进程分类。数据提取处理器数据提取类别下的处理器用于将数据提取到NiFi数据流中。这些主要是apache NiFi中任何数据流的起点。属于这些类别的一些处理器是GetFile，GetHTTP，GetFTP，GetKAFKA等。路由和中介处理器路由和中介处理器用于根据流文件的属性或内容中的信息将流文件路由到不同的处理器或数据流。这些处理器还负责控制NiFi...

📅  最后修改于: 2020-11-18 08:41:18        🧑  作者: Mango

在Apache NiFi数据流中，流文件通过使用处理器之间的关系进行验证的连接从一个处理器移动到另一个处理器。每当创建连接时，开发人员都会在这些处理器之间选择一个或多个关系。如上图所示，黑色矩形中的复选框是关系。如果开发人员选择了这些复选框，那么当关系是成功还是失败或两者兼而有之时，流文件将在该特定处理器中终止。成功当处理器成功处理流文件(例如从任何数据源存储或获取数据)而未获得任何连接，身份验证...

📅  最后修改于: 2020-11-18 08:41:33        🧑  作者: Mango

流文件是Apache NiFi中的基本处理实体。它包含数据内容和属性，NiFi处理器使用这些内容和属性来处理数据。文件内容通常包含从源系统获取的数据。 Apache NiFi FlowFile的最常见属性是-UUID这代表通用唯一标识符，它是NiFi生成的流文件的唯一身份。文件名此属性包含该流文件的文件名，并且不应包含任何目录结构。文件大小它包含一个Apache NiFi FlowFile的大小。...

📅  最后修改于: 2020-11-18 08:41:48        🧑  作者: Mango

Apache NiFi数据流连接具有一个排队系统来处理大量数据流入。这些队列可以处理大量的FlowFile，以使处理器可以串行处理它们。上图中的队列中有1个通过成功关系传输的流文件。用户可以通过在下拉列表中选择列表队列选项来检查流文件。如果发生任何过载或错误，用户还可以通过选择“空队列”选项来清除队列，然后用户可以重新启动该流以再次在数据流中获取那些文件。队列中的流文件列表包括位置，UUID，文件...

📅  最后修改于: 2020-11-18 08:42:04        🧑  作者: Mango

在Apache NiFi中，用户可以在不同的进程组中维护不同的数据流。这些组可以基于Apache NiFi实例支持的不同项目或组织。如上图所示，NiFi UI顶部菜单中的第四个符号用于在NiFi画布中添加进程组。如上图所示，名为“ Tutorialspoint.com_ProcessGroup”的进程组包含一个数据流，该数据流当前具有四个处于停止阶段的处理器。可以以分层方式创建过程组，以更好的结构...

📅  最后修改于: 2020-11-18 08:42:17        🧑  作者: Mango

Apache NiFi提供标签，使开发人员能够编写有关NiFI画布中存在的组件的信息。 NiFi UI顶部菜单中最左侧的图标用于在NiFi画布中添加标签。开发人员可以通过右键单击标签来更改标签的颜色和文本的大小，然后从菜单中选择适当的选项。...

📅  最后修改于: 2020-11-18 08:42:39        🧑  作者: Mango

Apache NiFi是高度可配置的平台。 conf目录中的nifi.properties文件包含大多数配置。Apache NiFi的常用属性如下-核心特性本部分包含运行NiFi实例所必需的属性。S.No.Property nameDefault Valuedescription1nifi.flow.configuration.file./conf/flow.xml.gzThis property...

📅  最后修改于: 2020-11-18 08:43:00        🧑  作者: Mango

Apache NiFi为管理目的提供了对ambari，zookeeper等多种工具的支持。 NiFi还在nifi.properties文件中提供了配置，以便为管理员设置HTTPS和其他内容。动物园管理员NiFi本身不处理集群中的投票过程。这意味着在创建集群时，所有节点都是主要节点和协调者。因此，将Zookeeper配置为管理主节点和协调者的投票。 nifi.properties文件包含一些用于设置...

📅  最后修改于: 2020-11-18 08:43:21        🧑  作者: Mango

Apache NiFi提供了大量组件，可帮助开发人员为任何类型的协议或数据源创建数据流。为了创建流程，开发人员将组件从菜单栏拖到画布上，并通过单击鼠标并将鼠标从一个组件拖到另一个组件来将它们连接起来。通常，NiFi在流程开始时就有一个侦听器组件，例如getfile，它从源系统获取数据。在另一端，有一个发送器组件(如putfile)，中间有处理数据的组件。例如，让我们创建一个流程，该流程从一个目录中...