📅  最后修改于: 2020-12-03 03:01:41        🧑  作者: Mango

Apache Kafka起源于LinkedIn，后来在2011年成为开源Apache项目，然后在2012年成为First-class Apache项目。Kafka用Scala和Java编写。 Apache Kafka是基于发布-订阅的容错消息传递系统。它是快速，可扩展的，并且可以按设计进行分发。本教程将探讨Kafka的原理，安装，操作，然后逐步引导您完成Kafka集群的部署。最后，我们将以实时应用...

📅  最后修改于: 2021-01-05 02:33:39        🧑  作者: Mango

Apache Kafka教程Apache Kafka教程提供了Apache Kafka的基本和高级概念。本教程适用于初学者和专业人士。Apache Kafka是一个开源流处理软件平台，用于处理实时数据存储。它充当两方(即发送方和接收方)之间的代理。它一天可以处理大约数万亿个数据事件。Apache Kafka教程之旅将涵盖从其体系结构到核心概念的所有概念。什么是Apache KafkaApache ...

📅  最后修改于: 2021-01-05 02:34:33        🧑  作者: Mango

卡夫卡主题在上一节中，我们简要介绍了Apache Kafka，消息传递系统以及流处理过程。在这里，我们将讨论Kafka的基本概念和作用。主题通常，主题是指某些特定的相互关联的概念的特定标题或名称。在Kafka中，“主题”一词是指用于存储和发布特定数据流的类别或通用名称。基本上，Kafka中的主题类似于数据库中的表，但不包含所有约束。在Kafka中，我们可以根据需要创建n个主题。它由其名称标识，这取...

📅  最后修改于: 2021-01-05 02:35:27        🧑  作者: Mango

Kafka主题复制Apache Kafka是大数据世界中的分布式软件系统。因此，对于这样的系统，需要具有所存储数据的副本。在Kafka中，每个经纪人都包含某种数据。但是，如果代理或计算机出现故障怎么办?数据将丢失。预防措施，Apache Kafka启用了复制功能，即使代理发生故障也可以确保数据丢失。为此，将为任何特定代理中包含的主题创建一个复制因子。复制因子是多个代理上的数据副本数。复制因子值应始...

📅  最后修改于: 2021-01-05 02:36:26        🧑  作者: Mango

卡夫卡制片人生产者是将数据发布或写入不同分区中的主题的生产者。生产者自动知道，应该将哪些数据写入哪个分区和代理。用户不需要指定代理和分区。生产者如何将数据写入集群?生产者使用以下策略将数据写入集群：留言键致谢留言键Apache Kafka启用密钥的概念以特定顺序发送消息。该键使生产者可以有两种选择，即要么将数据自动发送到每个分区，要么仅将数据发送到特定分区。使用消息键可以将数据发送到某些特定分区。...

📅  最后修改于: 2021-01-05 02:38:43        🧑  作者: Mango

kafka ：消费者和消费者群体消费者是通过主题消费或从Kafka集群读取数据的消费者。消费者还知道应该从哪个代理读取数据。使用者以有序的方式读取每个分区中的数据。这意味着在从偏移量0读取之前，不应该让使用者从偏移量1中读取数据。而且，使用者可以轻松地同时从多个代理读取数据。例如，两个消费者，即消费者1和消费者2正在读取数据。使用者1正在按顺序从代理1读取数据。另一方面，消费者2正在同时从Brok...

📅  最后修改于: 2021-01-05 02:39:40        🧑  作者: Mango

Apache Kafka用例Apache Kafka具有以下用例，最能描述使用它的事件：1)消息代理Apache Kafka是一种趋势技术，能够处理大量相似类型的消息或数据。此功能使Kafka可以提供较高的吞吐量值。同样，Kafka是一个发布-订阅消息传递系统，使用户可以更方便地读取和写入数据。2)指标Apache Kafka通过生成集中的数据提要来监视操作数据。运营数据意味着监视从技术到安全日志...

📅  最后修改于: 2021-01-05 02:40:32        🧑  作者: Mango

Apache Kafka应用程序对Apache Kafka的需求正以惊人的速度增长。如今，许多最好的企业都使用Kafka来缓解和增长其数据流水线需求。Apache Kafka有以下应用程序：让我们逐一讨论每个应用程序：领英2010年，LinkedIn开发了Apache Kafka。由于Kafka是发布-订阅消息传递系统，因此各种LinkedIn产品(例如LinkedIn Today和LinkedI...

📅  最后修改于: 2021-01-05 02:41:25        🧑  作者: Mango

kafka ：优点和缺点Apache Kafka的优点Apache Kafka的以下优点使其值得：低延迟：Apache Kafka提供低延迟值，即最长10毫秒。这是因为它使消息分离，从而使消费者可以随时使用该消息。高吞吐量：由于低延迟，Kafka能够处理更多数量的高容量和高速度的消息。 Kafka可以在一秒钟内支持数千条消息。 Uber等许多公司都使用Kafka加载大量数据。容错能力：Kafka具...

📅  最后修改于: 2021-01-05 02:42:18        🧑  作者: Mango

Kafka：多个集群我们已经研究过，单个Kafka群集中可以有多个分区，主题和代理。因此，随着Apache Kafka部署的增长，拥有多个集群是有益的。在本节中，我们将讨论多个集群，其优势以及更多其他内容。Kafka群集是由多个代理及其各自分区组成的群集。多个Kafka集群意味着连接两个或多个集群以简化生产者和消费者的工作。多个集群的优势单个Kafka集群足以满足本地开发需求。但是，拥有多个集群是...

📅  最后修改于: 2021-01-05 02:43:13        🧑  作者: Mango

Apache Kafka体系结构我们已经学习了Apache Kafka的基本概念。这些基本概念，例如主题，分区，生产者，消费者等，共同构成了Kafka体系结构。由于不同的应用程序相应地设计了Kafka的体系结构，因此设计Apache Kafka体系结构需要以下基本部分。数据生态系统：使用Apache Kafka的多个应用程序构成了一个生态系统。该生态系统是为数据处理而构建的。它以创建数据的应用程序...

📅  最后修改于: 2021-01-05 02:44:17        🧑  作者: Mango

安装Apache KafkaWindows，macOS和Linux环境都支持Apache Kafka。每个操作系统都有其自己的步骤/过程来安装Apache Kafka。达到这一阶段意味着所有有抱负的人可能对Apache Kafka的基本概念很清楚。在本节中，我们将在这里讨论Windows上的安装过程，设置路径以及启动zookeeper和Kafka服务器。在Windows上安装Apache Kafk...

📅  最后修改于: 2021-01-05 02:45:17        🧑  作者: Mango

在Linux上安装Kafka先决条件：应该在系统上安装Java8。可以使用以下步骤在Linux系统上安装Apache Kafka：步骤1：检查Java版本。它应该与版本8一起安装，因为Kafka支持java8及更高版本。通过在搜索框中键入“终端”或直接按“ctrl + alt + t”来打开终端。然后，使用命令：'java -version'检查java的版本。注意：使用java9或更高版本可能会...

📅  最后修改于: 2021-01-05 02:46:10        🧑  作者: Mango

在macOS上安装Apache Kafka先决条件：应在系统上安装版本8的Java。要下载最新版本的Apache Kafka(或根据需要)，将使用以下步骤：第1步：打开Apache Foundation的官方网站，或使用链接：https://kafka.apache.org/downloads。从Binary下载中选择并下载Kafka二进制文件。选择Scala 2.11或Scala 2.12。步骤...

📅  最后修改于: 2021-01-05 02:47:06        🧑  作者: Mango

创建 kafka 主题在本部分中，用户将学习使用Windows上的命令行界面(CLI)创建主题。可以使用以下步骤创建主题：第1步：首先，请确保同时启动Zookeeper和Kafka服务器。步骤2：输入'kafka-topics -zookeeper localhost：2181 -topic-创造在控制台上，然后按Enter。在这里，主题名称为“ myfirst”注意：请在Linux上创建主题时(...