📌  相关文章
📜  Hadoop安装

📅  最后修改于: 2020-12-03 01:38:07             🧑  作者: Mango

Hadoop安装

Hadoop所需的环境：Hadoop的生产环境是UNIX，但也可以在使用Cygwin的Windows中使用。需要Java 1.6或更高版本才能运行Map Reduce程序。要从UNIX环境中的tar球安装Hadoop，您需要

  • Java安装
  • SSH安装
  • Hadoop安装和文件配置

1)Java安装

步骤1.在提示符下键入“ java -version”以查找是否已安装Java。如果没有，请从http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html下载Java。 tar文件jdk-7u71-linux-x64.tar.gz将下载到您的系统中。

步骤2.使用以下命令解压缩文件

#tar zxf jdk-7u71-linux-x64.tar.gz

步骤3.要使Java对UNIX的所有用户可用，请将文件移至/ usr / local并设置路径。在提示符下切换到root用户，然后在下面键入命令以将jdk移动到/ usr / lib。

# mv jdk1.7.0_71 /usr/lib/

现在，在〜/ .bashrc文件中，添加以下命令来设置路径。

# export JAVA_HOME=/usr/lib/jdk1.7.0_71
# export PATH=PATH:$JAVA_HOME/bin

现在，您可以在提示符下键入“ java -version”来检查安装。

2)SSH安装

SSH用于与主从计算机交互，而无需任何提示输入密码的操作。首先在主从系统上创建一个Hadoop用户

# useradd hadoop
# passwd Hadoop

要映射节点，请打开所有计算机上/ etc /文件夹中的hosts文件，并将IP地址及其主机名一起放入。

# vi /etc/hosts

输入下面的行

190.12.1.114    hadoop-master
190.12.1.121    hadoop-salve-one
190.12.1.143   hadoop-slave-two

在每个节点中设置SSH密钥，以便它们之间无需密码即可进行通信。相同的命令是：

# su hadoop 
$ ssh-keygen -t rsa 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub tutorialspoint@hadoop-master 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp1@hadoop-slave-1 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp2@hadoop-slave-2 
$ chmod 0600 ~/.ssh/authorized_keys 
$ exit

3)Hadoop安装

可以从http://developer.yahoo.com/hadoop/tutorial/module3.html下载Hadoop。

现在解压缩Hadoop并将其复制到某个位置。

$ mkdir /usr/hadoop
$ sudo tar vxzf  hadoop-2.2.0.tar.gz ?c /usr/hadoop

更改Hadoop文件夹的所有权

$sudo chown -R hadoop  usr/hadoop

更改Hadoop配置文件：

所有文件都位于/ usr / local / Hadoop / etc / hadoop中

1)在hadoop-env.sh文件中添加

export JAVA_HOME=/usr/lib/jvm/jdk/jdk1.7.0_71

2)在core-site.xml中的配置选项卡之间添加以下内容，



fs.default.name
hdfs://hadoop-master:9000


dfs.permissions
false

3)在hdfs-site.xmladd下面的配置选项卡之间，



dfs.data.dir
usr/hadoop/dfs/name/data
true


dfs.name.dir
usr/hadoop/dfs/name
true


dfs.replication
1

4)打开Mapred-site.xml并进行如下所示的更改



mapred.job.tracker
hadoop-master:9001

5)最后，更新您的$ HOME / .bahsrc

cd $HOME
vi .bashrc
Append following lines in the end and save and exit
#Hadoop variables 
export JAVA_HOME=/usr/lib/jvm/jdk/jdk1.7.0_71
export HADOOP_INSTALL=/usr/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin 
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL 
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL 
export YARN_HOME=$HADOOP_INSTALL

在从属计算机上，使用以下命令安装Hadoop。

# su hadoop 
$ cd /opt/hadoop 
$ scp -r hadoop hadoop-slave-one:/usr/hadoop 
$ scp -r hadoop hadoop-slave-two:/usr/Hadoop

配置主节点和从节点

$ vi etc/hadoop/masters
hadoop-master

$ vi etc/hadoop/slaves
hadoop-slave-one 
hadoop-slave-two

在此格式之后，命名节点并启动所有重传

# su hadoop 
$ cd /usr/hadoop 
$ bin/hadoop namenode -format

$ cd $HADOOP_HOME/sbin
$ start-all.sh

最简单的步骤是使用cloudera，因为它随附了所有预安装的东西，可以从http://content.udacity-data.com/courses/ud617/Cloudera-Udacity-Training-VM-4.1.1下载.c.zip