Apache Kafka-基本操作

📌 相关文章

📜 Apache Kafka-基本操作

📅 最后修改于: 2020-12-03 02:56:37 🧑 作者: Mango

首先，让我们开始实现单节点单代理配置，然后将设置迁移到单节点多代理配置。

希望您现在已经在计算机上安装了Java，ZooKeeper和Kafka。在转到Kafka Cluster设置之前，首先需要启动ZooKeeper，因为Kafka Cluster使用ZooKeeper。

启动ZooKeeper

打开一个新终端并输入以下命令-

bin/zookeeper-server-start.sh config/zookeeper.properties

要启动Kafka Broker，请输入以下命令-

bin/kafka-server-start.sh config/server.properties

启动Kafka Broker后，在ZooKeeper终端上键入命令jps ，您将看到以下响应-

821 QuorumPeerMain
928 Kafka
931 Jps

现在您可以看到在终端上运行了两个守护程序，其中QuorumPeerMain是ZooKeeper守护程序，另一个是Kafka守护程序。

单节点-单代理配置

在此配置中，您具有单个ZooKeeper和代理ID实例。以下是配置它的步骤-

创建Kafka主题-Kafka提供了一个名为kafka-topics.sh的命令行实用程序，用于在服务器上创建主题。打开新终端，然后输入以下示例。

句法

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 
--partitions 1 --topic topic-name

例

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1   
--partitions 1 --topic Hello-Kafka

我们刚刚创建了一个名为Hello-Kafka的主题，该主题具有一个分区和一个副本因子。上面创建的输出将类似于以下输出-

输出-创建主题Hello-Kafka

创建主题后，您可以在Kafka经纪人终端窗口中获得通知，并在config / server.properties文件的“ / tmp / kafka-logs /”中指定创建的主题的日志。

主题清单

要获取Kafka服务器中的主题列表，可以使用以下命令-

句法

bin/kafka-topics.sh --list --zookeeper localhost:2181

输出

Hello-Kafka

由于我们创建了主题，因此仅列出Hello-Kafka 。假设，如果您创建多个主题，那么您将在输出中获得主题名称。

启动生产者发送消息

句法

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topic-name

根据以上语法，生产者命令行客户端需要两个主要参数-

Broker- list-我们要将消息发送到的代理列表。在这种情况下，我们只有一名经纪人。 Config / server.properties文件包含代理端口ID，因为我们知道我们的代理正在侦听端口9092，因此您可以直接指定它。

主题名称-这是主题名称的示例。

例

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Hello-Kafka

生产者将等待来自stdin的输入，然后发布到Kafka集群。默认情况下，每行都将发布为新消息，然后在config / producer.properties文件中指定默认的生产者属性。现在，您可以在终端中键入几行消息，如下所示。

输出

$ bin/kafka-console-producer.sh --broker-list localhost:9092 
--topic Hello-Kafka[2016-01-16 13:50:45,931] 
WARN property topic is not valid (kafka.utils.Verifia-bleProperties)
Hello
My first message

My second message

启动消费者以接收消息

与生产者类似，默认使用者属性在config / consumer.proper-ties文件中指定。打开一个新终端，然后输入以下语法来使用消息。

句法

bin/kafka-console-consumer.sh --zookeeper localhost:2181 —topic topic-name 
--from-beginning

例

bin/kafka-console-consumer.sh --zookeeper localhost:2181 —topic Hello-Kafka 
--from-beginning

输出

Hello
My first message
My second message

最后，您可以从生产者终端输入消息，并看到它们出现在消费者终端中。到目前为止，您已经对具有单个代理的单节点群集有了很好的了解。现在，让我们继续进行多个代理配置。

单节点多代理配置

在继续进行多个代理群集设置之前，请先启动ZooKeeper服务器。

创建多个Kafka代理-在con-fig / server.properties中已经有一个Kafka代理实例。现在我们需要多个代理实例，因此将现有的server.prop-erties文件复制到两个新的配置文件中，并将其重命名为server-one.properties和server-two.prop-erties。然后编辑两个新文件并分配以下更改-

config / server-one.properties

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=1
# The port the socket server listens on
port=9093
# A comma seperated list of directories under which to store log files
log.dirs=/tmp/kafka-logs-1

config / server-two.properties

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=2
# The port the socket server listens on
port=9094
# A comma seperated list of directories under which to store log files
log.dirs=/tmp/kafka-logs-2

启动多个代理-在三台服务器上完成所有更改之后，然后打开三个新终端以逐个启动每个代理。

Broker1
bin/kafka-server-start.sh config/server.properties
Broker2
bin/kafka-server-start.sh config/server-one.properties
Broker3
bin/kafka-server-start.sh config/server-two.properties

现在，我们在计算机上运行了三个不同的代理。自己尝试通过在ZooKeeper终端上键入jps来检查所有守护程序，然后您将看到响应。

创建主题

让我们为此主题分配复制因子值三个，因为我们正在运行三个不同的代理。如果您有两个代理，则分配的副本值将为两个。

句法

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 
-partitions 1 --topic topic-name

例

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 
-partitions 1 --topic Multibrokerapplication

输出

created topic “Multibrokerapplication”

Describe命令用于检查哪个代理正在侦听当前创建的主题，如下所示-

bin/kafka-topics.sh --describe --zookeeper localhost:2181 
--topic Multibrokerappli-cation

输出

bin/kafka-topics.sh --describe --zookeeper localhost:2181 
--topic Multibrokerappli-cation

Topic:Multibrokerapplication    PartitionCount:1 
ReplicationFactor:3 Configs:
   
Topic:Multibrokerapplication Partition:0 Leader:0 
Replicas:0,2,1 Isr:0,2,1

从上面的输出中，我们可以得出结论，第一行给出了所有分区的摘要，显示了主题名称，分区数和我们已经选择的复制因子。在第二行中，每个节点将成为分区的随机选择部分的领导者。

在我们的案例中，我们看到第一个经纪人(具有broker.id 0)是领导者。然后副本：0,2,1意味着所有的券商复制的话题终于ISR是集同步副本。好吧，这是副本服务器当前处于活动状态并被领导者追赶的子集。

启动生产者发送消息

此过程与单一代理设置中的过程相同。

例

bin/kafka-console-producer.sh --broker-list localhost:9092 
--topic Multibrokerapplication

输出

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Multibrokerapplication
[2016-01-20 19:27:21,045] WARN Property topic is not valid (kafka.utils.Verifia-bleProperties)
This is single node-multi broker demo
This is the second message

启动消费者以接收消息

此过程与单一代理设置中显示的过程相同。

例

bin/kafka-console-consumer.sh --zookeeper localhost:2181 
—topic Multibrokerapplica-tion --from-beginning

输出

bin/kafka-console-consumer.sh --zookeeper localhost:2181 
—topic Multibrokerapplica-tion —from-beginning
This is single node-multi broker demo
This is the second message

基本主题操作

在本章中，我们将讨论各种基本主题操作。

修改主题

您已经了解了如何在Kafka Cluster中创建主题。现在，让我们使用以下命令修改创建的主题

句法

bin/kafka-topics.sh —zookeeper localhost:2181 --alter --topic topic_name 
--parti-tions count

例

We have already created a topic “Hello-Kafka” with single partition count and one replica factor. 
Now using “alter” command we have changed the partition count.
bin/kafka-topics.sh --zookeeper localhost:2181 
--alter --topic Hello-kafka --parti-tions 2

输出

WARNING: If partitions are increased for a topic that has a key, 
the partition logic or ordering of the messages will be affected
Adding partitions succeeded!

删除主题

要删除主题，可以使用以下语法。

句法

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic topic_name

例

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic Hello-kafka

输出

> Topic Hello-kafka marked for deletion

注意-如果delete.topic.enable未设置为true，则不会有任何影响