如何在 Windows 上安装单节点集群 Hadoop？

Hadoop 可以通过两种方式安装。第一种是在单节点集群上，第二种方式是在多节点集群上。让我们看看他们两个的解释。但在本节中将涵盖在单节点集群上的安装部分。让我们一一讨论。

单节点集群和多节点集群：

1. 单节点集群——它有一个 DataNode 运行并在一台机器上设置所有 NameNode、DataNode、Resource Manager 和 NodeManager。这用于学习和测试目的。

2. 多节点集群——有多个 DataNode 运行，每个 DataNode 运行在不同的机器上。

单节点集群上的安装步骤

在 Windows 上安装单节点集群 Hadoop 的步骤如下。

先决条件：

1. Java-Java JDK（已安装）
2. HADOOP-Hadoop 包（已下载）

步骤 1：验证安装的Java

javac -version

第 2 步：在 C:\Hadoop 中提取 Hadoop

第 3 步：设置 HADOOP_HOME 变量

使用 Windows 环境变量设置进行 Hadoop 路径设置。

第 4 步：设置 JAVA_HOME 变量

使用 Windows 环境变量设置进行 Hadoop 路径设置。

第五步：设置Hadoop和Java bin目录路径

第 6 步：Hadoop 配置：

对于 Hadoop 配置，我们需要修改下面列出的六个文件-

1. Core-site.xml
2. Mapred-site.xml
3. Hdfs-site.xml
4. Yarn-site.xml
5. Hadoop-env.cmd
6. Create two folders datanode and namenode

步骤 6.1：Core-site.xml 配置

   
       fs.defaultFS
       hdfs://localhost:9000
   

步骤 6.2：Mapred-site.xml 配置

   
       mapreduce.framework.name
       yarn
   

步骤 6.3：hdfs-site.xml 配置

   
       dfs.replication
       1
   
   
       dfs.namenode.name.dir
       C:\hadoop-2.8.0\data\namenode
   
   
       dfs.datanode.data.dir
       C:\hadoop-2.8.0\data\datanode
   

步骤 6.4：Yarn-site.xml 配置

   
        yarn.nodemanager.aux-services
        mapreduce_shuffle
   
   
          yarn.nodemanager.auxservices.mapreduce.shuffle.class  
    org.apache.hadoop.mapred.ShuffleHandler
   

步骤 6.5：Hadoop-env.cmd 配置

Set "JAVA_HOME=C:\Java" (On C:\java this is path to file jdk.18.0)

步骤 6.6：创建 datanode 和 namenode 文件夹

1. Create folder "data" under "C:\Hadoop-2.8.0"
2. Create folder "datanode" under "C:\Hadoop-2.8.0\data"
3. Create folder "namenode" under "C:\Hadoop-2.8.0\data"

第七步：格式化namenode文件夹

打开命令窗口（cmd）并输入命令“hdfs namenode –format”

第 8 步：测试设置

打开命令窗口（cmd）并输入命令“start-all.cmd”

步骤 8.1：测试设置：

确保名称节点、数据节点和资源管理器正在运行

第九步：打开：http://localhost:8088

第 10 步：

Open: http://localhost:50070