守护进程意味着Process 。 Hadoop 守护进程是一组运行在 Hadoop 上的进程。 Hadoop 是一个用Java编写的框架,所以所有这些进程都是Java进程。
Apache Hadoop 2 由以下守护进程组成:
- 名称节点
- 数据节点
- 辅助名称节点
- 资源管理器
- 节点管理器
Namenode、Secondary NameNode 和Resource Manager 在Master System 上工作,而Node Manager 和DataNode 在Slave 机器上工作。
1.名称节点
NameNode 在主系统上工作。 Namenode 的主要目的是管理所有的 MetaData。元数据是存储在我们的 HDFS(Hadoop 分布式文件系统)中的文件列表。正如我们所知,数据以块的形式存储在 Hadoop 集群中。因此,MetaData 中提到了该文件块存储在哪个 DataNode 或哪个位置。 Hadoop 集群中发生的事务日志,何时或谁读取或写入数据,所有这些信息都将存储在 MetaData 中。元数据存储在内存中。
特征:
- 它从不存储文件中存在的数据。
- 由于 Namenode 工作在 Master System,因此 Master 系统应该具有比 Slaves 更好的处理能力和更多的 RAM。
- 它存储 DataNode 的信息,例如它们的块 ID 和块数
如何启动名称节点?
hadoop-daemon.sh start namenode
如何停止名称节点?
hadoop-daemon.sh stop namenode
2.数据节点
DataNode 工作在 Slave 系统上。 NameNode 总是指示 DataNode 存储数据。 DataNode 是一个运行在从系统上的程序,它为来自客户端的读/写请求提供服务。由于数据存储在此 DataNode 中,因此它们应具有较高的内存以存储更多数据。
如何启动数据节点?
hadoop-daemon.sh start datanode
如何停止数据节点?
hadoop-daemon.sh stop datanode
3. 辅助NameNode
次要 NameNode 用于进行数据的每小时备份。假设 Hadoop 集群出现故障或崩溃,那么在这种情况下,辅助 Namenode 将获取该数据的每小时备份或检查点,并将这些数据存储到文件名fsimage 中。然后这个文件被转移到一个新系统意味着这个 MetaData 被分配给那个新系统,一个新的 Master 用这个 MetaData 创建,并且集群再次正确运行。
这是辅助名称节点的好处。现在在 Hadoop2 中,我们具有高可用性和联合功能,可以最大限度地降低 Hadoop2 中此辅助名称节点的重要性。
二级NameNode的主要函数:
- 它将来自 NameNode 的 Edit 日志和 Fsimage 组合在一起
- 它不断地从 NameNode 的 RAM 中读取 MetaData 并写入硬盘。
由于辅助 NameNode 跟踪 Hadoop 分布式文件系统中的检查点,因此它也称为检查点节点。
The Hadoop Daemon’s | Port |
---|---|
Name Node | 50070 |
Data Node | 50075 |
Secondary Name Node | 50090 |
这些端口可以在hdfs-site.xml和mapred-site.xml文件中手动配置。
4. 资源管理器
资源管理器也称为在主系统上工作的全局主守护进程。资源管理器管理在 Hadoop 集群中运行的应用程序的资源。 Resource Manager 主要由两部分组成。
1. 应用管理器
2.调度器
Application Manager 负责接受客户端的请求,并在 Hadoop 集群中的 Slaves 上制作内存资源以托管Application Master 。调度器用于为 Hadoop 集群中的应用程序提供资源并用于监控该应用程序。
如何启动资源管理器?
yarn-daemon.sh start resourcemanager
如何停止ResourceManager?
stop:yarn-daemon.sh stop resoucemnager
5. 节点管理器
节点管理器工作在从系统上,管理节点和内存盘内的内存资源。每个 Slave Nodein,一个 Hadoop 集群,都有一个 NodeManager Daemon 在其中运行。它还将此监视信息发送到资源管理器。
如何启动节点管理器?
yarn-daemon.sh start nodemanager
如何停止节点管理器?
yarn-daemon.sh stop nodemanager
在 Hadoop 集群中,可以使用http://:port_number类型的特定 URL 跟踪资源管理器和节点管理器
The Hadoop Daemon’s | Port |
---|---|
ResourceManager | 8088 |
NodeManager | 8042 |
下图显示了 Hadoop 的工作原理。