📜  Apache Flume-NetCat源码

📅  最后修改于: 2020-12-03 04:48:52             🧑  作者: Mango


本章以示例为例,说明如何生成事件并随后将其登录到控制台。为此,我们使用了NetCat源和记录器接收器。

先决条件

要运行本章提供的示例,您需要安装Flume

配置Flume

我们必须使用conf文件夹中的配置文件配置源,通道和接收器。本章中的示例使用NetCat源,内存通道记录器接收器

NetCat来源

在配置NetCat源时,我们必须在配置源时指定端口。现在,源(NetCat源)侦听给定的端口,并接收作为单独事件输入到该端口中的每一行,并将其通过指定的通道传输到接收器。

配置此源时,必须为以下属性提供值-

  • 频道

  • 源类型-netcat

  • bind-要绑定的主机名或IP地址。

  • port-我们希望源监听的端口号。

渠道

我们正在使用内存通道。要配置内存通道,必须为通道类型提供一个值。以下是配置内存通道时需要提供的属性列表-

  • type-它保存通道的类型。在我们的示例中,类型为MemChannel

  • 容量-这是通道中存储的最大事件数。其默认值为100。(可选)

  • TransactionCapacity-它是通道接受或发送的最大事件数。其默认值为100。(可选)。

记录仪水槽

该接收器记录传递给它的所有事件。通常,它用于测试或调试目的。要配置此接收器,必须提供以下详细信息。

  • 渠道

  • 类型-记录器

示例配置文件

下面给出的是配置文件的示例。复制此内容并将其另存为Flume的conf文件夹中的netcat.conf

# Naming the components on the current agent
NetcatAgent.sources = Netcat   
NetcatAgent.channels = MemChannel 
NetcatAgent.sinks = LoggerSink  

# Describing/Configuring the source 
NetcatAgent.sources.Netcat.type = netcat 
NetcatAgent.sources.Netcat.bind = localhost
NetcatAgent.sources.Netcat.port = 56565  

# Describing/Configuring the sink 
NetcatAgent.sinks.LoggerSink.type = logger  

# Describing/Configuring the channel 
NetcatAgent.channels.MemChannel.type = memory 
NetcatAgent.channels.MemChannel.capacity = 1000 
NetcatAgent.channels.MemChannel.transactionCapacity = 100 
 
# Bind the source and sink to the channel 
NetcatAgent.sources.Netcat.channels = MemChannel
NetcatAgent.sinks.LoggerSink.channel = MemChannel

执行

浏览Flume主目录并执行该应用程序,如下所示。

$ cd $FLUME_HOME
$ ./bin/flume-ng agent --conf $FLUME_CONF --conf-file $FLUME_CONF/netcat.conf 
   --name NetcatAgent -Dflume.root.logger=INFO,console

如果一切顺利,则源开始侦听给定的端口。在这种情况下为56565 。下面给出的是NetCat源命令提示符窗口的快照,该窗口已启动并正在侦听端口56565。

执行

将数据传递到源

要将数据传递到NetCat源,必须打开配置文件中提供的端口。打开一个单独的端子,然后使用curl命令连接到信号源(56565)。连接成功后,您将收到一条“已连接”消息,如下所示。

$ curl telnet://localhost:56565 
connected 

现在,您可以逐行输入数据(每行之后,必须按Enter键)。 NetCat源将每一行作为一个单独的事件接收,您将收到一条接收到的消息“ OK ”。

只要完成了传递数据的操作,就可以通过按( Ctrl + C )退出控制台。下面给出的是我们使用curl命令连接到源的控制台的快照。

传递数据

源将在上述控制台中输入的每一行作为一个单独的事件接收。由于我们使用了Logger接收器,因此这些事件将通过指定的通道(在这种情况下为内存通道)登录到控制台(源控制台)。

以下快照显示了记录事件的NetCat控制台。

NetCat控制台