📜  Hadoop – 守护进程及其特性

📅  最后修改于: 2021-10-27 06:50:55             🧑  作者: Mango

守护进程意味着Process 。 Hadoop 守护进程是一组运行在 Hadoop 上的进程。 Hadoop 是一个用Java编写的框架,所以所有这些进程都是Java进程。

Apache Hadoop 2 由以下守护进程组成:

  • 名称节点
  • 数据节点
  • 辅助名称节点
  • 资源管理器
  • 节点管理器

Namenode、Secondary NameNode 和Resource Manager 在Master System 上工作,而Node Manager 和DataNode 在Slave 机器上工作。

1.名称节点

NameNode 在主系统上工作。 Namenode 的主要目的是管理所有的 MetaData。元数据是存储在我们的 HDFS(Hadoop 分布式文件系统)中的文件列表。正如我们所知,数据以块的形式存储在 Hadoop 集群中。因此,MetaData 中提到了该文件块存储在哪个 DataNode 或哪个位置。 Hadoop 集群中发生的事务日志,何时或谁读取或写入数据,所有这些信息都将存储在 MetaData 中。元数据存储在内存中。

特征:

  • 它从不存储文件中存在的数据。
  • 由于 Namenode 工作在 Master System,因此 Master 系统应该具有比 Slaves 更好的处理能力和更多的 RAM。
  • 它存储 DataNode 的信息,例如它们的块 ID 和块数

如何启动名称节点?

hadoop-daemon.sh start namenode

如何停止名称节点?

hadoop-daemon.sh stop namenode

在 Hadoop 中启动和停止 namenode

2.数据节点

DataNode 工作在 Slave 系统上。 NameNode 总是指示 DataNode 存储数据。 DataNode 是一个运行在从系统上的程序,它为来自客户端的读/写请求提供服务。由于数据存储在此 DataNode 中,因此它们应具有较高的内存以存储更多数据。

如何启动数据节点?

hadoop-daemon.sh start datanode

如何停止数据节点?

hadoop-daemon.sh stop datanode

在 Hadoop 中启动和停止 Datanode

3. 辅助NameNode

次要 NameNode 用于进行数据的每小时备份。假设 Hadoop 集群出现故障或崩溃,那么在这种情况下,辅助 Namenode 将获取该数据的每小时备份或检查点,并将这些数据存储到文件名fsimage 中。然后这个文件被转移到一个新系统意味着这个 MetaData 被分配给那个新系统,一个新的 Master 用这个 MetaData 创建,并且集群再次正确运行。
这是辅助名称节点的好处。现在在 Hadoop2 中,我们具有高可用性和联合功能,可以最大限度地降低 Hadoop2 中此辅助名称节点的重要性。

二级NameNode的主要函数:

  • 它将来自 NameNode 的 Edit 日志和 Fsimage 组合在一起
  • 它不断地从 NameNode 的 RAM 中读取 MetaData 并写入硬盘。

由于辅助 NameNode 跟踪 Hadoop 分布式文件系统中的检查点,因此它也称为检查点节点。

二级名称节点

The Hadoop Daemon’s Port
Name Node 50070
Data Node 50075
Secondary Name Node 50090

这些端口可以在hdfs-site.xmlmapred-site.xml文件中手动配置。

4. 资源管理器

资源管理器也称为在主系统上工作的全局主守护进程。资源管理器管理在 Hadoop 集群中运行的应用程序的资源。 Resource Manager 主要由两部分组成。


1. 应用管理器
2.调度器

Application Manager 负责接受客户端的请求,并在 Hadoop 集群中的 Slaves 上制作内存资源以托管Application Master 。调度器用于为 Hadoop 集群中的应用程序提供资源并用于监控该应用程序。

如何启动资源管理器?

yarn-daemon.sh start resourcemanager

如何停止ResourceManager?

stop:yarn-daemon.sh stop resoucemnager

Hadoop 中的启动-停止-资源管理器

5. 节点管理器

节点管理器工作在从系统上,管理节点和内存盘内的内存资源。每个 Slave Nodein,一个 Hadoop 集群,都有一个 NodeManager Daemon 在其中运行。它还将此监视信息发送到资源管理器。

如何启动节点管理器?

yarn-daemon.sh start nodemanager

如何停止节点管理器?

yarn-daemon.sh stop nodemanager

Hadoop 节点管理器 - 如何启动和停止

在 Hadoop 集群中,可以使用http://:port_number类型的特定 URL 跟踪资源管理器和节点管理器

The Hadoop Daemon’s Port
ResourceManager 8088
NodeManager 8042

下图显示了 Hadoop 的工作原理。

Hadoop 工作原理