📌  相关文章
📜  HBase-安装

📅  最后修改于: 2020-11-30 04:13:50             🧑  作者: Mango

本章介绍了如何安装和初始配置HBase。必须使用Java和Hadoop才能继续使用HBase，因此您必须在系统中下载并安装Java和Hadoop。

安装前设置

在将Hadoop安装到Linux环境之前，我们需要使用ssh (Secure Shell)设置Linux。请按照以下给出的步骤来设置Linux环境。

创建一个用户

首先，建议为Hadoop创建一个单独的用户，以将Hadoop文件系统与Unix文件系统隔离。请按照下面给出的步骤创建用户。

  • 使用命令“ su”打开根。
  • 使用命令“ useradd username”从根帐户创建一个用户。
  • 现在，您可以使用“ su username”命令打开一个现有的用户帐户。

打开Linux终端，然后键入以下命令来创建用户。

$ su
password:
# useradd hadoop
# passwd hadoop
New passwd:
Retype new passwd

SSH设置和密钥生成

需要SSH设置才能在集群上执行不同的操作，例如启动，停止和分布式守护程序shell操作。为了认证Hadoop的不同用户，需要为Hadoop用户提供公钥/私钥对，并与其他用户共享。

以下命令用于使用SSH生成键值对。将公共密钥形式id_rsa.pub复制到authorized_keys，并分别向所有者提供对authorized_keys文件的读写权限。

$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

验证ssh

ssh localhost

安装Java

Java是Hadoop和HBase的主要先决条件。首先，您应该使用“ java -version”来验证系统中是否存在java。 Java版本命令的语法如下。

$ java -version

如果一切正常，它将为您提供以下输出。

java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果您的系统中未安装Java，请按照以下步骤安装Java。

第1步

通过访问以下链接Oracle Java下载Java(JDK <最新版本>-X64.tar.gz)。

然后将jdk-7u71-linux-x64.tar.gz下载到您的系统中。

第2步

通常，您会在Downloads文件夹中找到下载的Java文件。验证它并使用以下命令解压缩jdk-7u71-linux-x64.gz文件。

$ cd Downloads/
$ ls
jdk-7u71-linux-x64.gz

$ tar zxf jdk-7u71-linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-linux-x64.gz

第三步

要使Java对所有用户可用，您必须将其移动到“ / usr / local /”位置。打开root并键入以下命令。

$ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit

第4步

要设置PATH和JAVA_HOME变量，请将以下命令添加到〜/ .bashrc文件。

export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH= $PATH:$JAVA_HOME/bin

现在将所有更改应用于当前正在运行的系统。

$ source ~/.bashrc

第5步

使用以下命令来配置Java替代方案：

# alternatives --install /usr/bin/java java usr/local/java/bin/java 2

# alternatives --install /usr/bin/javac javac usr/local/java/bin/javac 2

# alternatives --install /usr/bin/jar jar usr/local/java/bin/jar 2


# alternatives --set java usr/local/java/bin/java

# alternatives --set javac usr/local/java/bin/javac

# alternatives --set jar usr/local/java/bin/jar

现在，如上所述，从终端验证java -version命令。

下载Hadoop

安装Java之后，您必须安装Hadoop。首先，使用“ Hadoop版本”命令验证Hadoop的存在，如下所示。

hadoop version

如果一切正常，它将为您提供以下输出。

Hadoop 2.6.0
Compiled by jenkins on 2014-11-13T21:10Z
Compiled with protoc 2.5.0
From source with checksum 18e43357c8f927c0695f1e9522859d6a
This command was run using
/home/hadoop/hadoop/share/hadoop/common/hadoop-common-2.6.0.jar

如果系统无法找到Hadoop，请在系统中下载Hadoop。请按照下面给出的命令进行操作。

使用以下命令从Apache Software Foundation下载并解压缩hadoop-2.6.0 。

$ su
password:
# cd /usr/local
# wget http://mirrors.advancedhosters.com/apache/hadoop/common/hadoop-
2.6.0/hadoop-2.6.0-src.tar.gz
# tar xzf hadoop-2.6.0-src.tar.gz
# mv hadoop-2.6.0/* hadoop/
# exit

安装Hadoop

以任何必需的模式安装Hadoop。在这里，我们以伪分布式模式演示HBase功能，因此以伪分布式模式安装Hadoop。

以下步骤用于安装Hadoop 2.4.1 。

第1步-设置Hadoop

您可以通过将以下命令附加到〜/ .bashrc文件来设置Hadoop环境变量。

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

现在将所有更改应用于当前正在运行的系统。

$ source ~/.bashrc

第2步-Hadoop配置

您可以在“ $ HADOOP_HOME / etc / hadoop”位置找到所有Hadoop配置文件。您需要根据Hadoop基础架构在这些配置文件中进行更改。

$ cd $HADOOP_HOME/etc/hadoop

为了用Java开发Hadoop程序，您必须通过用系统中java的位置替换JAVA_HOME值来重置hadoop-env.sh文件中的java环境变量。

export JAVA_HOME=/usr/local/jdk1.7.0_71

您将必须编辑以下文件来配置Hadoop。

core-site.xml

core-site.xml文件包含以下信息，例如用于Hadoop实例的端口号，为文件系统分配的内存，用于存储数据的内存限制以及读/写缓冲区的大小。

打开core-site.xml，并在和标记之间添加以下属性。


   
      fs.default.name
      hdfs://localhost:9000

hdfs-site.xml

hdfs-site.xml文件包含一些信息，例如复制数据的值，本地文件系统的名称节点路径和数据节点路径，您要在其中存储Hadoop基础架构。

让我们假设以下数据。

dfs.replication (data replication value) = 1
(In the below given path /hadoop/ is the user name.
hadoopinfra/hdfs/namenode is the directory created by hdfs file system.)

namenode path = //home/hadoop/hadoopinfra/hdfs/namenode
(hadoopinfra/hdfs/datanode is the directory created by hdfs file system.)

datanode path = //home/hadoop/hadoopinfra/hdfs/datanode

打开此文件，并在，标记之间添加以下属性。


   
      dfs.replication
      1
   
    
   
      dfs.name.dir
      file:///home/hadoop/hadoopinfra/hdfs/namenode
   
    
   
      dfs.data.dir
      file:///home/hadoop/hadoopinfra/hdfs/datanode

注意：在上面的文件中，所有属性值都是用户定义的，您可以根据Hadoop基础结构进行更改。

yarn-site.xml

该文件用于将yarn配置到Hadoop中。打开yarn-site.xml文件，并在 


   
      yarn.nodemanager.aux-services
      mapreduce_shuffle

mapred-site.xml

该文件用于指定我们使用的MapReduce框架。默认情况下，Hadoop包含一个yarn-site.xml模板。首先，需要使用以下命令将文件从mapred-site.xml.template复制到mapred-site.xml文件。

$ cp mapred-site.xml.template mapred-site.xml

打开mapred-site.xml文件，并在和标记之间添加以下属性。


   
      mapreduce.framework.name
      yarn

验证Hadoop安装

以下步骤用于验证Hadoop安装。

步骤1-名称节点设置

如下所示，使用命令“ hdfs namenode -format”设置名称节点。

$ cd ~
$ hdfs namenode -format

预期结果如下。

10/24/14 21:30:55 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = localhost/192.168.1.11
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 2.4.1
...
...
10/24/14 21:30:56 INFO common.Storage: Storage directory
/home/hadoop/hadoopinfra/hdfs/namenode has been successfully formatted.
10/24/14 21:30:56 INFO namenode.NNStorageRetentionManager: Going to
retain 1 images with txid >= 0
10/24/14 21:30:56 INFO util.ExitUtil: Exiting with status 0
10/24/14 21:30:56 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/192.168.1.11
************************************************************/

第2步-验证Hadoop DFS

以下命令用于启动dfs。执行此命令将启动Hadoop文件系统。

$ start-dfs.sh

预期输出如下。

10/24/14 21:37:56
Starting namenodes on [localhost]
localhost: starting namenode, logging to /home/hadoop/hadoop-
2.4.1/logs/hadoop-hadoop-namenode-localhost.out
localhost: starting datanode, logging to /home/hadoop/hadoop-
2.4.1/logs/hadoop-hadoop-datanode-localhost.out
Starting secondary namenodes [0.0.0.0]

第3步-验证纱线脚本

以下命令用于启动yarn脚本。执行此命令将启动yarn守护程序。

$ start-yarn.sh

预期输出如下。

starting yarn daemons
starting resourcemanager, logging to /home/hadoop/hadoop-
2.4.1/logs/yarn-hadoop-resourcemanager-localhost.out
localhost: starting nodemanager, logging to /home/hadoop/hadoop-
2.4.1/logs/yarn-hadoop-nodemanager-localhost.out

步骤4-在浏览器上访问Hadoop

访问Hadoop的默认端口号是50070。使用以下URL在浏览器上获取Hadoop服务。

http://localhost:50070

浏览器上的Hadoop

第5步-验证群集的所有应用程序

访问群集的所有应用程序的默认端口号是8088。使用以下URL访问此服务。

http://localhost:8088/

Hadoop Applicatin群集

安装HBase

我们可以采用以下三种模式中的任何一种来安装HBase：独立模式，伪分布式模式和完全分布式模式。

以独立模式安装HBase

使用“ wget”命令从http://www.interior-dsgn.com/apache/hbase/stable/下载HBase的最新稳定版本，然后使用tar“ zxvf”命令将其解压缩。请参阅以下命令。

$cd usr/local/
$wget http://www.interior-dsgn.com/apache/hbase/stable/hbase-0.98.8-
hadoop2-bin.tar.gz
$tar -zxvf hbase-0.98.8-hadoop2-bin.tar.gz

切换到超级用户模式，然后将HBase文件夹移动到/ usr / local，如下所示。

$su
$password: enter your password here
mv hbase-0.99.1/* Hbase/

在独立模式下配置HBase

在继续使用HBase之前，您必须编辑以下文件并配置HBase。

hbase-env.sh

设置HBase的java Home并从conf文件夹中打开hbase-env.sh文件。编辑JAVA_HOME环境变量，并将现有路径更改为当前JAVA_HOME变量，如下所示。

cd /usr/local/Hbase/conf
gedit hbase-env.sh

这将打开HBase的env.sh文件。现在，将现有的JAVA_HOME值替换为您的当前值，如下所示。

export JAVA_HOME=/usr/lib/jvm/java-1.7.0

hbase-site.xml

这是HBase的主要配置文件。通过打开/ usr / local / HBase中的HBase主文件夹，将数据目录设置到适当的位置。在conf文件夹中，您会找到几个文件，打开hbase-site.xml文件，如下所示。

#cd /usr/local/HBase/
#cd conf
# gedit hbase-site.xml

在hbase-site.xml文件中，您将找到和标记。在其中，将HBase目录设置在属性键下，名称为“ hbase.rootdir”，如下所示。


   //Here you have to set the path where you want HBase to store its files.
   
      hbase.rootdir
      file:/home/hadoop/HBase/HFiles
   
    
   //Here you have to set the path where you want HBase to store its built in zookeeper  files.
   
      hbase.zookeeper.property.dataDir
      /home/hadoop/zookeeper

至此，HBase安装和配置部分成功完成。我们可以使用HBase的bin文件夹中提供的start-hbase.sh脚本来启动HBase。为此，打开HBase主文件夹并运行HBase启动脚本，如下所示。

$cd /usr/local/HBase/bin
$./start-hbase.sh

如果一切顺利，当您尝试运行HBase启动脚本时，它将提示您HBase已启动的消息。

starting master, logging to /usr/local/HBase/bin/../logs/hbase-tpmaster-localhost.localdomain.out

以伪分布式模式安装HBase

现在让我们检查如何在伪分布式模式下安装HBase。

配置HBase

在继续使用HBase之前，请在本地系统或远程系统上配置Hadoop和HDFS，并确保它们正在运行。如果HBase正在运行，请停止它。

hbase-site.xml

编辑hbase-site.xml文件以添加以下属性。


   hbase.cluster.distributed
   true

它将提到应该在哪种模式下运行HBase。在本地文件系统的同一文件中，使用hdfs：//// URI语法更改hbase.rootdir(您的HDFS实例地址)。我们正在本地主机的端口8030上运行HDFS。


   hbase.rootdir
   hdfs://localhost:8030/hbase

启动HBase

配置结束后，浏览至HBase主文件夹并使用以下命令启动HBase。

$cd /usr/local/HBase
$bin/start-hbase.sh

注意：在启动HBase之前，请确保Hadoop正在运行。

在HDFS中检查HBase目录

HBase在HDFS中创建其目录。要查看创建的目录，请浏览至Hadoop bin并键入以下命令。

$ ./bin/hadoop fs -ls /hbase

如果一切顺利，它将为您提供以下输出。

Found 7 items
drwxr-xr-x - hbase users 0 2014-06-25 18:58 /hbase/.tmp
drwxr-xr-x - hbase users 0 2014-06-25 21:49 /hbase/WALs
drwxr-xr-x - hbase users 0 2014-06-25 18:48 /hbase/corrupt
drwxr-xr-x - hbase users 0 2014-06-25 18:58 /hbase/data
-rw-r--r-- 3 hbase users 42 2014-06-25 18:41 /hbase/hbase.id
-rw-r--r-- 3 hbase users 7 2014-06-25 18:41 /hbase/hbase.version
drwxr-xr-x - hbase users 0 2014-06-25 21:49 /hbase/oldWALs

启动和停止主机

使用“ local-master-backup.sh”，您最多可以启动10台服务器。打开HBase的主文件夹，主目录并执行以下命令将其启动。

$ ./bin/local-master-backup.sh 2 4

要终止备份主服务器，您需要其进程ID，该进程ID将存储在名为“ /tmp/hbase-USER-X-master.pid”的文件中。您可以使用以下命令杀死备份主服务器。

$ cat /tmp/hbase-user-1-master.pid |xargs kill -9

启动和停止RegionServer

您可以使用以下命令从单个系统运行多个区域服务器。

$ .bin/local-regionservers.sh start 2 3

要停止区域服务器，请使用以下命令。

$ .bin/local-regionservers.sh stop 3

启动HBaseShell

成功安装HBase之后，可以启动HBase Shell。下面给出的是启动HBase Shell所需遵循的步骤顺序。打开终端，并以超级用户身份登录。

启动Hadoop文件系统

浏览Hadoop home sbin文件夹并启动Hadoop文件系统，如下所示。

$cd $HADOOP_HOME/sbin
$start-all.sh

启动HBase

浏览HBase根目录bin文件夹并启动HBase。

$cd /usr/local/HBase
$./bin/start-hbase.sh

启动HBase主服务器

这将是同一目录。如下所示启动它。

$./bin/local-master-backup.sh start 2 (number signifies specific
server.)

起始地区

如下所示启动区域服务器。

$./bin/./local-regionservers.sh start 3

启动HBase Shell

您可以使用以下命令启动HBase Shell。

$cd bin
$./hbase shell

这将为您提供HBase Shell提示符，如下所示。

2014-12-09 14:24:27,526 INFO [main] Configuration.deprecation:
hadoop.native.lib is deprecated. Instead, use io.native.lib.available
HBase Shell; enter 'help' for list of supported commands.
Type "exit" to leave the HBase Shell
Version 0.98.8-hadoop2, r6cfc8d064754251365e070a10a82eb169956d5fe, Fri
Nov 14 18:26:29 PST 2014

hbase(main):001:0>

HBase Web界面

要访问HBase的Web界面，请在浏览器中键入以下URL。

http://localhost:60010

该界面列出了您当前正在运行的Region服务器，备份主服务器和HBase表。

HBase区域服务器和备份主服务器

HBase服务器

HBase表

HBase表

设置Java环境

我们还可以使用Java库与HBase通信，但是在使用Java API访问HBase之前，您需要为这些库设置类路径。

设置类路径

在进行编程之前，请在.bashrc文件中将类路径设置为HBase库。在任何一个编辑器中打开.bashrc ，如下所示。

$ gedit ~/.bashrc

如下所示，在其中设置HBase库的类路径(HBase中的lib文件夹)。

export CLASSPATH = $CLASSPATH://home/hadoop/hbase/lib/*

这是为了防止使用Java API访问HBase时出现“找不到类”异常。