📅  最后修改于: 2020-12-01 06:45:00             🧑  作者: Mango
本章介绍了在分布式环境中的Hadoop Multi-Node集群的设置。
由于无法演示整个集群,因此我们在解释Hadoop集群环境时使用了三个系统(一个主系统和两个从属系统)。以下是他们的IP地址。
请按照下面给出的步骤进行Hadoop多节点集群设置。
Java是Hadoop的主要先决条件。首先,您应该使用“ java -version”来验证系统中是否存在java。 Java版本命令的语法如下。
$ java -version
如果一切正常,它将为您提供以下输出。
java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)
如果您的系统中未安装Java,请按照给定的步骤安装Java。
通过访问以下链接www.oracle.com下载Java(JDK <最新版本>-X64.tar.gz)。
然后将jdk-7u71-linux-x64.tar.gz下载到您的系统中。
通常,您会在Downloads文件夹中找到下载的Java文件。验证它并使用以下命令解压缩jdk-7u71-linux-x64.gz文件。
$ cd Downloads/
$ ls
jdk-7u71-Linux-x64.gz
$ tar zxf jdk-7u71-Linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-Linux-x64.gz
要使Java对所有用户可用,您必须将其移动到“ / usr / local /”位置。打开根目录,然后键入以下命令。
$ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit
要设置PATH和JAVA_HOME变量,请将以下命令添加到〜/ .bashrc文件。
export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH=PATH:$JAVA_HOME/bin
现在,如上所述,从终端验证java -version命令。请遵循上述过程,并在所有群集节点中安装Java。
在主系统和从系统上都创建一个系统用户帐户,以使用Hadoop安装。
# useradd hadoop
# passwd hadoop
您必须在所有节点上的/ etc /文件夹中编辑主机文件,指定每个系统的IP地址及其后的主机名。
# vi /etc/hosts
enter the following lines in the /etc/hosts file.
192.168.1.109 hadoop-master
192.168.1.145 hadoop-slave-1
192.168.56.1 hadoop-slave-2
在每个节点上设置ssh,以便它们可以彼此通信而无需任何提示输入密码的提示。
# su hadoop
$ ssh-keygen -t rsa
$ ssh-copy-id -i ~/.ssh/id_rsa.pub tutorialspoint@hadoop-master
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp1@hadoop-slave-1
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp2@hadoop-slave-2
$ chmod 0600 ~/.ssh/authorized_keys
$ exit
在主服务器中,使用以下命令下载并安装Hadoop。
# mkdir /opt/hadoop
# cd /opt/hadoop/
# wget http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/hadoop-1.2.0.tar.gz
# tar -xzf hadoop-1.2.0.tar.gz
# mv hadoop-1.2.0 hadoop
# chown -R hadoop /opt/hadoop
# cd /opt/hadoop/hadoop/
您必须通过进行以下更改来配置Hadoop服务器,如下所示。
打开core-site.xml文件,如下所示进行编辑。
fs.default.name
hdfs://hadoop-master:9000/
dfs.permissions
false
打开hdfs-site.xml文件,如下所示进行编辑。
dfs.data.dir
/opt/hadoop/hadoop/dfs/name/data
true
dfs.name.dir
/opt/hadoop/hadoop/dfs/name
true
dfs.replication
1
打开mapred-site.xml文件,如下所示进行编辑。
mapred.job.tracker
hadoop-master:9001
打开hadoop-env.sh文件,然后如下所示编辑JAVA_HOME,HADOOP_CONF_DIR和HADOOP_OPTS。
注-根据系统配置设置JAVA_HOME。
export JAVA_HOME=/opt/jdk1.7.0_17
export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true
export HADOOP_CONF_DIR=/opt/hadoop/hadoop/conf
遵循给定命令,在所有从属服务器上安装Hadoop。
# su hadoop
$ cd /opt/hadoop
$ scp -r hadoop hadoop-slave-1:/opt/hadoop
$ scp -r hadoop hadoop-slave-2:/opt/hadoop
打开主服务器,并按照给定命令进行配置。
# su hadoop
$ cd /opt/hadoop/hadoop
$ vi etc/hadoop/masters
hadoop-master
$ vi etc/hadoop/slaves
hadoop-slave-1
hadoop-slave-2
# su hadoop
$ cd /opt/hadoop/hadoop
$ bin/hadoop namenode –format
11/10/14 10:58:07 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = hadoop-master/192.168.1.109
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 1.2.0
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1479473;
compiled by 'hortonfo' on Mon May 6 06:59:37 UTC 2013
STARTUP_MSG: java = 1.7.0_71
************************************************************/
11/10/14 10:58:08 INFO util.GSet: Computing capacity for map BlocksMap
editlog=/opt/hadoop/hadoop/dfs/name/current/edits
………………………………………………….
………………………………………………….
………………………………………………….
11/10/14 10:58:08 INFO common.Storage: Storage directory
/opt/hadoop/hadoop/dfs/name has been successfully formatted.
11/10/14 10:58:08 INFO namenode.NameNode:
SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at hadoop-master/192.168.1.15
************************************************************/
以下命令将启动Hadoop-Master上的所有Hadoop服务。
$ cd $HADOOP_HOME/sbin
$ start-all.sh
下面给出了将新节点添加到Hadoop集群所需遵循的步骤。
使用一些适当的网络配置将新节点添加到现有的Hadoop群集中。假设以下网络配置。
对于新节点配置-
IP address : 192.168.1.103
netmask : 255.255.255.0
hostname : slave3.in
在新节点上,使用以下命令添加“ hadoop”用户并将Hadoop用户的密码设置为“ hadoop123”或您想要的任何内容。
useradd hadoop
passwd hadoop
设置密码,减少了从主机到新从机的连接。
mkdir -p $HOME/.ssh
chmod 700 $HOME/.ssh
ssh-keygen -t rsa -P '' -f $HOME/.ssh/id_rsa
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
chmod 644 $HOME/.ssh/authorized_keys
Copy the public key to new slave node in hadoop user $HOME directory
scp $HOME/.ssh/id_rsa.pub hadoop@192.168.1.103:/home/hadoop/
登录到hadoop。如果不是,请登录到hadoop用户。
su hadoop ssh -X hadoop@192.168.1.103
将公共密钥的内容复制到文件“ $ HOME / .ssh / authorized_keys”中,然后通过执行以下命令来更改其许可权。
cd $HOME
mkdir -p $HOME/.ssh
chmod 700 $HOME/.ssh
cat id_rsa.pub >>$HOME/.ssh/authorized_keys
chmod 644 $HOME/.ssh/authorized_keys
从主机检查ssh登录。现在,检查是否可以在没有主服务器密码的情况下切换到新节点。
ssh hadoop@192.168.1.103 or hadoop@slave3
您可以在文件/ etc / sysconfig / network中设置主机名
On new slave3 machine
NETWORKING = yes
HOSTNAME = slave3.in
要使更改生效,请重新启动计算机,或对具有各自主机名的新计算机运行hostname命令(重新启动是一个不错的选择)。
在slave3节点机器上-
主机名slave3.in
用以下几行更新集群所有机器上的/ etc / hosts-
192.168.1.102 slave3.in slave3
现在尝试使用主机名对计算机执行ping操作,以检查计算机是否解析为IP。
在新节点机器上-
ping master.in
使用$ HADOOP_HOME / bin / hadoop-daemon.sh脚本手动启动datanode守护程序。它将自动与主节点(NameNode)联系并加入集群。我们还应该将新节点添加到主服务器中的conf / slaves文件中。基于脚本的命令将识别新节点。
su hadoop or ssh -X hadoop@192.168.1.103
./bin/hadoop-daemon.sh start datanode
$ jps
7141 DataNode
10312 Jps
我们可以在运行中从群集中动态删除节点,而不会丢失任何数据。 HDFS提供了停用功能,可确保安全地执行删除节点的操作。要使用它,请按照以下步骤操作-
登录到安装了Hadoop的主计算机用户。
$ su hadoop
在启动集群之前,必须配置一个排除文件。将名为dfs.hosts.exclude的密钥添加到我们的$ HADOOP_HOME / etc / hadoop / hdfs-site.xml文件中。与此键关联的值提供了NameNode本地文件系统上文件的完整路径,该文件包含不允许连接到HDFS的计算机列表。
例如,将这些行添加到etc / hadoop / hdfs-site.xml文件。
dfs.hosts.exclude
/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt
DFS exclude
应将每台要停用的计算机添加到hdfs_exclude.txt标识的文件中,每行一个域名。这将阻止它们连接到NameNode。如果要删除DataNode2,则显示“ /home/hadoop/hadoop-1.2.1/hdfs_exclude.txt”文件的内容。
slave2.in
运行不带引号的命令“ $ HADOOP_HOME / bin / hadoop dfsadmin -refreshNodes” 。
$ $HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes
这将强制NameNode重新读取其配置,包括新更新的“排除”文件。它将在一段时间内停用节点,从而使每个节点的块都有时间复制到计划保持活动状态的机器上。
在slave2.in上,检查jps命令输出。一段时间后,您将看到DataNode进程自动关闭。
停用过程完成后,可以安全地关闭停用的硬件以进行维护。对dfsadmin运行report命令,以检查退役状态。以下命令将描述停用节点和群集连接节点的状态。
$ $HADOOP_HOME/bin/hadoop dfsadmin -report
机器停用后,可以从“排除”文件中将其删除。再次运行“ $ HADOOP_HOME / bin / hadoop dfsadmin -refreshNodes” ,将排除文件读回到NameNode;允许DataNode在维护完成后重新加入集群,或者再次需要集群中的其他容量,等等。
特别说明-如果遵循上述过程,而tasktracker进程仍在节点上运行,则需要将其关闭。一种方法是按照上述步骤断开计算机。船长将自动识别该过程,并宣布已死亡。无需遵循相同的过程来删除tasktracker,因为与DataNode相比,它并不是很重要。 DataNode包含您要安全删除的数据,而不会丢失任何数据。
可以在任何时间通过以下命令即时运行/关闭任务跟踪器。
$ $HADOOP_HOME/bin/hadoop-daemon.sh stop tasktracker
$HADOOP_HOME/bin/hadoop-daemon.sh start tasktracker