Hadoop 环境设置

Hadoop 是一个分布式计算框架，常用于大规模数据处理和存储。在开始使用 Hadoop 之前，需要进行环境设置。

硬件要求

• 至少 8 GB RAM
• 至少 2 CPU 内核

软件要求

• 安装 JDK 8 或以上版本
• 下载 Hadoop 2.x 或 3.x 版本

环境变量设置

在设置环境变量之前，需要确定 Hadoop 安装路径和 Java 安装路径。

打开终端或命令行，输入以下命令：

export JAVA_HOME=/path/to/java
export PATH=$PATH:/path/to/hadoop/bin

配置 Hadoop

Hadoop 的配置文件位于 conf/ 目录下。常见的配置文件包括 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。

1. core-site.xml 定义了 Hadoop 的核心配置。打开该文件，添加以下内容：

   <configuration>
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://localhost:9000</value>
       </property>
   </configuration>
   

2. hdfs-site.xml 定义了 HDFS 的配置。打开该文件，添加以下内容：

   <configuration>
       <property>
           <name>dfs.replication</name>
           <value>1</value>
       </property>
   </configuration>
   

3. mapred-site.xml 定义了 MapReduce 的配置。打开该文件，添加以下内容：

   <configuration>
       <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
       </property>
   </configuration>
   

4. yarn-site.xml 定义了 YARN 的配置。打开该文件，添加以下内容：

   <configuration>
       <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
       </property>
   </configuration>
   

启动 Hadoop

进入 Hadoop 安装路径，输入以下命令启动 Hadoop：

./sbin/start-all.sh

启动完成后，可以通过以下命令检查 Hadoop 是否正常工作：

jps

如果看到了如下进程，说明 Hadoop 启动成功：

NodeManager
ResourceManager
DataNode
NameNode
SecondaryNameNode

停止 Hadoop

可以通过以下命令停止 Hadoop：

./sbin/stop-all.sh

小结

本文介绍了 Hadoop 环境设置的必要步骤，包括硬件要求、软件要求、环境变量设置、配置 Hadoop、启动和停止 Hadoop。掌握了这些基本知识之后，可以开始在 Hadoop 上进行大规模数据处理和存储。