📜  如何在 Windows 上安装单节点集群 Hadoop?

📅  最后修改于: 2021-10-27 06:31:16             🧑  作者: Mango

Hadoop 可以通过两种方式安装。第一种是在单节点集群上,第二种方式是在多节点集群上。让我们看看他们两个的解释。但在本节中将涵盖在单节点集群上的安装部分。让我们一一讨论。

单节点集群和多节点集群:

  1. 单节点集群——它有一个 DataNode 运行并在一台机器上设置所有 NameNode、DataNode、Resource Manager 和 NodeManager。这用于学习和测试目的。
  2. 多节点集群——有多个 DataNode 运行,每个 DataNode 运行在不同的机器上。

单节点集群上的安装步骤

在 Windows 上安装单节点集群 Hadoop 的步骤如下。

先决条件:

  1. Java-Java JDK(已安装)
  2. HADOOP-Hadoop 包(已下载)

步骤 1:验证安装的Java

javac -version

验证安装的 Java

第 2 步:在 C:\Hadoop 中提取 Hadoop

在 C:\Hadoop 提取 Hadoop

第 3 步:设置 HADOOP_HOME 变量

使用 Windows 环境变量设置进行 Hadoop 路径设置。

设置 HADOOP

第 4 步:设置 JAVA_HOME 变量

使用 Windows 环境变量设置进行 Hadoop 路径设置。

设置 JAVA_HOME 变量

第五步:设置Hadoop和Java bin目录路径

设置Hadoop和Java bin目录路径

第 6 步:Hadoop 配置:

对于 Hadoop 配置,我们需要修改下面列出的六个文件-

1. Core-site.xml
2. Mapred-site.xml
3. Hdfs-site.xml
4. Yarn-site.xml
5. Hadoop-env.cmd
6. Create two folders datanode and namenode

步骤 6.1:Core-site.xml 配置


   
       fs.defaultFS
       hdfs://localhost:9000
   

步骤 6.2:Mapred-site.xml 配置


   
       mapreduce.framework.name
       yarn
   

步骤 6.3:hdfs-site.xml 配置


   
       dfs.replication
       1
   
   
       dfs.namenode.name.dir
       C:\hadoop-2.8.0\data\namenode
   
   
       dfs.datanode.data.dir
       C:\hadoop-2.8.0\data\datanode
   

步骤 6.4:Yarn-site.xml 配置


   
        yarn.nodemanager.aux-services
        mapreduce_shuffle
   
   
          yarn.nodemanager.auxservices.mapreduce.shuffle.class  
    org.apache.hadoop.mapred.ShuffleHandler
   

步骤 6.5:Hadoop-env.cmd 配置

Set "JAVA_HOME=C:\Java" (On C:\java this is path to file jdk.18.0)

步骤 6.6:创建 datanode 和 namenode 文件夹

1. Create folder "data" under "C:\Hadoop-2.8.0"
2. Create folder "datanode" under "C:\Hadoop-2.8.0\data"
3. Create folder "namenode" under "C:\Hadoop-2.8.0\data"

第七步:格式化namenode文件夹

打开命令窗口(cmd)并输入命令“hdfs namenode –format”

第 8 步:测试设置

打开命令窗口(cmd)并输入命令“start-all.cmd”

步骤 8.1:测试设置:

确保名称节点、数据节点和资源管理器正在运行

第九步:打开:http://localhost:8088

第 10 步:

Open: http://localhost:50070