📌  相关文章
📜  Apache Flume-配置

📅  最后修改于: 2020-12-03 04:47:04             🧑  作者: Mango

安装Flume之后，我们需要使用配置文件对其进行配置，该配置文件是具有键值对的Java属性文件。我们需要将值传递给文件中的键。

在Flume配置文件中，我们需要-

  • 命名当前代理的组件。
  • 描述/配置源。
  • 描述/配置接收器。
  • 描述/配置通道。
  • 将源和接收器绑定到通道。

通常，在Flume中我们可以有多个代理。我们可以使用唯一的名称来区分每个代理。使用此名称，我们必须配置每个代理。

命名组件

首先，您需要命名/列出组件，例如源，接收器和代理程序的通道，如下所示。

agent_name.sources = source_name 
agent_name.sinks = sink_name 
agent_name.channels = channel_name

Flume支持各种来源，接收器和渠道。它们在下表中列出。

Sources Channels Sinks
  • Avro Source
  • Thrift Source
  • Exec Source
  • JMS Source
  • Spooling Directory Source
  • Twitter 1% firehose Source
  • Kafka Source
  • NetCat Source
  • Sequence Generator Source
  • Syslog Sources
  • Syslog TCP Source
  • Multiport Syslog TCP Source
  • Syslog UDP Source
  • HTTP Source
  • Stress Source
  • Legacy Sources
  • Thrift Legacy Source
  • Custom Source
  • Scribe Source
  • Memory Channel
  • JDBC Channel
  • Kafka Channel
  • File Channel
  • Spillable Memory Channel
  • Pseudo Transaction Channel
  • HDFS Sink
  • Hive Sink
  • Logger Sink
  • Avro Sink
  • Thrift Sink
  • IRC Sink
  • File Roll Sink
  • Null Sink
  • HBaseSink
  • AsyncHBaseSink
  • MorphlineSolrSink
  • ElasticSearchSink
  • Kite Dataset Sink
  • Kafka Sink

您可以使用其中任何一个。例如，如果您要使用Twitter源通过存储通道将Twitter数据通过内存通道传输到HDFS接收器，且代理名称为TwitterAgent ，则

TwitterAgent.sources = Twitter 
TwitterAgent.channels = MemChannel 
TwitterAgent.sinks = HDFS

列出代理的组件后，您必须通过提供其属性值来描述源，接收器和通道。

描述来源

每个源都有一个单独的属性列表。名为“ type”的属性对于每个来源都是通用的，并且用于指定我们正在使用的来源的类型。

连同属性“类型”一样，需要提供特定源的所有必需属性的值来进行配置，如下所示。

agent_name.sources. source_name.type = value 
agent_name.sources. source_name.property2 = value 
agent_name.sources. source_name.property3 = value

例如，如果我们考虑twitter资源，则以下是我们必须提供值以对其进行配置的属性。

TwitterAgent.sources.Twitter.type = Twitter (type name) 
TwitterAgent.sources.Twitter.consumerKey =  
TwitterAgent.sources.Twitter.consumerSecret = 
TwitterAgent.sources.Twitter.accessToken =   
TwitterAgent.sources.Twitter.accessTokenSecret =

描述水槽

就像源一样，每个接收器将具有单独的属性列表。每个接收器都具有名为“ type”的属性，该属性用于指定我们正在使用的接收器的类型。连同属性“类型”一样，还需要为特定接收器的所有必需属性提供值以对其进行配置，如下所示。

agent_name.sinks. sink_name.type = value 
agent_name.sinks. sink_name.property2 = value 
agent_name.sinks. sink_name.property3 = value

例如，如果我们考虑HDFS sink ，那么以下是我们必须提供值以对其进行配置的属性。

TwitterAgent.sinks.HDFS.type = hdfs (type name)  
TwitterAgent.sinks.HDFS.hdfs.path = HDFS directory’s Path to store the data

描述频道

Flume提供了各种通道来在源和接收器之间传输数据。因此，连同源和通道一起，需要描述代理中使用的通道。

要描述每个通道，您需要设置所需的属性，如下所示。

agent_name.channels.channel_name.type = value 
agent_name.channels.channel_name. property2 = value 
agent_name.channels.channel_name. property3 = value

例如，如果考虑使用memory channel ，则以下是我们必须提供值以对其进行配置的属性。

TwitterAgent.channels.MemChannel.type = memory (type name)

将源和接收器绑定到通道

由于通道连接了源和宿，因此需要将它们都绑定到通道，如下所示。

agent_name.sources.source_name.channels = channel_name 
agent_name.sinks.sink_name.channels = channel_name

以下示例显示如何将源和接收器绑定到通道。在这里，我们考虑Twitter资源，内存通道和HDFS接收器。

TwitterAgent.sources.Twitter.channels = MemChannel
TwitterAgent.sinks.HDFS.channels = MemChannel

启动Flume代理

配置完成后，我们必须启动Flume代理。它完成如下-

$ bin/flume-ng agent --conf ./conf/ -f conf/twitter.conf 
Dflume.root.logger=DEBUG,console -n TwitterAgent

其中-

  • 代理-命令启动水槽剂

  • –conf，-c -使用conf目录中的配置文件

  • -f <文件> -指定配置文件路径(如果缺少)

  • –name，-n <名称> -Twitter代理的名称

  • -D property = value-设置Java系统属性值。