Mahout-环境 - 芒果文档

📌 相关文章

📜 Mahout-环境

📅 最后修改于: 2020-11-30 05:25:04 🧑 作者: Mango

本章教您如何设置mahout。 Java和Hadoop是mahout的前提条件。下面给出了下载和安装Java，Hadoop和Mahout的步骤。

安装前设置

在将Hadoop安装到Linux环境之前，我们需要使用ssh (Secure Shell)设置Linux。请按照下面提到的步骤来设置Linux环境。

创建一个用户

建议为Hadoop创建一个单独的用户，以将Hadoop文件系统与Unix文件系统隔离。请按照以下步骤创建用户：

使用命令“ su”打开root。
使用命令“ useradd username”从根帐户创建一个用户。
现在，您可以使用命令“ su username”打开一个现有的用户帐户。
打开Linux终端，然后键入以下命令来创建用户。

$ su
password:
# useradd hadoop
# passwd hadoop
New passwd:
Retype new passwd

SSH设置和密钥生成

需要SSH设置才能在集群上执行不同的操作，例如启动，停止和分布式守护程序shell操作。为了认证Hadoop的不同用户，需要为Hadoop用户提供公钥/私钥对，并与其他用户共享。

以下命令用于使用SSH生成密钥值对，将公钥形式从id_rsa.pub复制到authorized_keys，并分别提供所有者，对authorized_keys文件的读写权限。

$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

验证ssh

ssh localhost

安装Java

Java是Hadoop和HBase的主要先决条件。首先，您应该使用“ java -version”来验证系统中是否存在Java。 Java版本命令的语法如下。

$ java -version

它应该产生以下输出。

java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果您的系统中没有安装Java，请按照以下步骤安装Java。

第1步

通过访问以下链接下载java(JDK <最新版本>-X64.tar.gz)： Oracle

然后将jdk-7u71-linux-x64.tar.gz下载到您的系统上。

第2步

通常，您可以在“下载”文件夹中找到下载的Java文件。验证它并使用以下命令解压缩jdk-7u71-linux-x64.gz文件。

$ cd Downloads/
$ ls
jdk-7u71-linux-x64.gz
$ tar zxf jdk-7u71-linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-linux-x64.gz

第三步

为了使Java对所有用户可用，您需要将其移动到“ / usr / local /”位置。打开root，然后键入以下命令。

$ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit

第4步

要设置PATH和JAVA_HOME变量，请将以下命令添加到〜/ .bashrc文件。

export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH= $PATH:$JAVA_HOME/bin

现在，如上所述，从终端验证java -version命令。

下载Hadoop

安装Java之后，需要首先安装Hadoop。如下所示，使用“ Hadoop版本”命令验证Hadoop是否存在。

hadoop version

它应该产生以下输出：

Hadoop 2.6.0
Compiled by jenkins on 2014-11-13T21:10Z
Compiled with protoc 2.5.0
From source with checksum 18e43357c8f927c0695f1e9522859d6a
This command was run using /home/hadoop/hadoop/share/hadoop/common/hadoopcommon-2.6.0.jar

如果您的系统无法找到Hadoop，请下载Hadoop并将其安装在系统上。请按照下面给出的命令进行操作。

使用以下命令从apache软件基础下载并解压缩hadoop-2.6.0。

$ su
password:
# cd /usr/local
# wget http://mirrors.advancedhosters.com/apache/hadoop/common/hadoop-
2.6.0/hadoop-2.6.0-src.tar.gz
# tar xzf hadoop-2.6.0-src.tar.gz
# mv hadoop-2.6.0/* hadoop/
# exit

安装Hadoop

以任何必需的模式安装Hadoop。在这里，我们以伪分布式模式演示HBase功能，因此以伪分布式模式安装Hadoop。

请按照下面给出的步骤在系统上安装Hadoop 2.4.1 。

步骤1：设定Hadoop

您可以通过将以下命令附加到〜/ .bashrc文件来设置Hadoop环境变量。

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

现在，将所有更改应用到当前正在运行的系统中。

$ source ~/.bashrc

步骤2：Hadoop配置

您可以在“ $ HADOOP_HOME / etc / hadoop”位置找到所有Hadoop配置文件。需要根据您的Hadoop基础架构在这些配置文件中进行更改。

$ cd $HADOOP_HOME/etc/hadoop

为了用Java开发Hadoop程序，您需要通过用系统中Java的位置替换JAVA_HOME值来重置hadoop-env.sh文件中的Java环境变量。

export JAVA_HOME=/usr/local/jdk1.7.0_71

以下列出了您必须编辑以配置Hadoop的文件列表。

core-site.xml

core-site.xml文件包含以下信息，例如用于Hadoop实例的端口号，为文件系统分配的内存，用于存储数据的内存限制以及读/写缓冲区的大小。

打开core-site.xml并在，标记之间添加以下属性：


   
      fs.default.name
      hdfs://localhost:9000</value>

hdfs-site.xm

hdfs-site.xml文件包含诸如本地文件系统的复制数据的值，名称节点路径和数据节点路径之类的信息。这意味着您要存储Hadoop基础架构的位置。

让我们假设以下数据：

dfs.replication (data replication value) = 1

(In the below given path /hadoop/ is the user name.
hadoopinfra/hdfs/namenode is the directory created by hdfs file system.)
namenode path = //home/hadoop/hadoopinfra/hdfs/namenode

(hadoopinfra/hdfs/datanode is the directory created by hdfs file system.)
datanode path = //home/hadoop/hadoopinfra/hdfs/datanode

打开此文件，并在此文件的，标记之间添加以下属性。


   
      dfs.replication
      1
   
    
   
      dfs.name.dir
      file:///home/hadoop/hadoopinfra/hdfs/namenode
   
    
   
      dfs.data.dir
      file:///home/hadoop/hadoopinfra/hdfs/datanode

注意：在上面的文件中，所有属性值都是用户定义的。您可以根据Hadoop基础架构进行更改。

mapred-site.xml

该文件用于将yarn配置到Hadoop中。打开mapred-site.xml文件，并在此文件的，标记之间添加以下属性。


   
      yarn.nodemanager.aux-services
      mapreduce_shuffle

mapred-site.xml

该文件用于指定我们使用的MapReduce框架。缺省情况下，Hadoop包含mapred-site.xml模板。首先，需要使用以下命令将文件从mapred-site.xml.template复制到mapred-site.xml文件。

$ cp mapred-site.xml.template mapred-site.xml

打开mapred-site.xml文件，并在此文件的，标记之间添加以下属性。


   
      mapreduce.framework.name
      yarn

验证Hadoop安装

以下步骤用于验证Hadoop安装。

步骤1：名称节点设置

使用命令“ hdfs namenode -format”设置名称节点，如下所示：

$ cd ~
$ hdfs namenode -format

预期结果如下：

10/24/14 21:30:55 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = localhost/192.168.1.11
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 2.4.1
...
...
10/24/14 21:30:56 INFO common.Storage: Storage directory
/home/hadoop/hadoopinfra/hdfs/namenode has been successfully formatted.
10/24/14 21:30:56 INFO namenode.NNStorageRetentionManager: Going to retain
1 images with txid >= 0
10/24/14 21:30:56 INFO util.ExitUtil: Exiting with status 0
10/24/14 21:30:56 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/192.168.1.11
************************************************************/

步骤2：验证Hadoop DFS

以下命令用于启动dfs。此命令将启动Hadoop文件系统。

$ start-dfs.sh

预期的输出如下：

10/24/14 21:37:56
Starting namenodes on [localhost]
localhost: starting namenode, logging to /home/hadoop/hadoop-
2.4.1/logs/hadoop-hadoop-namenode-localhost.out
localhost: starting datanode, logging to /home/hadoop/hadoop-
2.4.1/logs/hadoop-hadoop-datanode-localhost.out
Starting secondary namenodes [0.0.0.0]

步骤3：验证纱线脚本

以下命令用于启动yarn脚本。执行此命令将启动您的纱线恶魔。

$ start-yarn.sh

预期的输出如下：

starting yarn daemons
starting resource manager, logging to /home/hadoop/hadoop-2.4.1/logs/yarn-
hadoop-resourcemanager-localhost.out
localhost: starting node manager, logging to /home/hadoop/hadoop-
2.4.1/logs/yarn-hadoop-nodemanager-localhost.out

步骤4：在浏览器上访问Hadoop

访问hadoop的默认端口号是50070。使用以下URL在浏览器上获取Hadoop服务。

http://localhost:50070/

访问Hadoop

步骤5：验证所有应用程序的群集

访问群集的所有应用程序的默认端口号是8088。使用以下URL访问此服务。

http://localhost:8088/

集群申请

下载Mahout

Mahout可在Mahout网站上找到。从网站上提供的链接下载Mahout。这是网站的屏幕截图。

下载Mahout

第1步

使用以下命令从链接http://mirror.nexcess.net/apache/mahout/下载Apache mahout。

[Hadoop@localhost ~]$ wget
http://mirror.nexcess.net/apache/mahout/0.9/mahout-distribution-0.9.tar.gz

然后mahout-distribution-0.9.tar.gz将下载到您的系统中。

第2步

浏览存储mahout-distribution-0.9.tar.gz的文件夹，并提取下载的jar文件，如下所示。

[Hadoop@localhost ~]$ tar zxvf mahout-distribution-0.9.tar.gz

Maven仓库

下面给出的pom.xml使用Eclipse构建Apache Mahout。


   org.apache.mahout
   mahout-core
   0.9



   org.apache.mahout
   mahout-math
   ${mahout.version}



   org.apache.mahout
   mahout-integration
   ${mahout.version}