📌  相关文章
📜  MapReduce字数示例

📅  最后修改于: 2020-12-03 01:45:15             🧑  作者: Mango

MapReduce字数统计示例

在MapReduce单词计数示例中，我们找出每个单词的频率。在这里，Mapper的作用是将键映射到现有值，而Reducer的作用是聚合公用值的键。因此，一切都以键值对的形式表示。

前提条件

  • Java安装-使用以下命令检查是否已安装Java。 Java版本
  • Hadoop安装-使用以下命令检查是否已安装Hadoop。 Hadoop版本

如果您的系统中未安装其中任何一个，请按照以下链接进行安装。

www.javatpoint.com/hadoop-installation

执行MapReduce字数统计示例的步骤

  • 在本地计算机上创建一个文本文件，然后在其中写入一些文本。 $ nano data.txt
  • 检查写在data.txt文件中的文本。 $ cat data.txt

在此示例中，我们找出此文本文件中每个单词的出现频率。

  • 在HDFS中创建一个目录，用于保存文本文件。 $ hdfs dfs -mkdir / test
  • 将data.txt文件上传到HDFS的特定目录中。 $ hdfs dfs -put /home/codegyani/data.txt / test

  • 使用eclipse编写MapReduce程序。

文件：WC_Mapper.java

package com.javatpoint;

import java.io.IOException;  
import java.util.StringTokenizer;  
import org.apache.hadoop.io.IntWritable;  
import org.apache.hadoop.io.LongWritable;  
import org.apache.hadoop.io.Text;  
import org.apache.hadoop.mapred.MapReduceBase;  
import org.apache.hadoop.mapred.Mapper;  
import org.apache.hadoop.mapred.OutputCollector;  
import org.apache.hadoop.mapred.Reporter;  
public class WC_Mapper extends MapReduceBase implements Mapper{  
    private final static IntWritable one = new IntWritable(1);  
    private Text word = new Text();  
    public void map(LongWritable key, Text value,OutputCollector output,   
           Reporter reporter) throws IOException{  
        String line = value.toString();  
        StringTokenizer  tokenizer = new StringTokenizer(line);  
        while (tokenizer.hasMoreTokens()){  
            word.set(tokenizer.nextToken());  
            output.collect(word, one);  
        }  
    }  
  
}

文件：WC_Reducer.java

package com.javatpoint;
    import java.io.IOException;  
    import java.util.Iterator;  
    import org.apache.hadoop.io.IntWritable;  
    import org.apache.hadoop.io.Text;  
    import org.apache.hadoop.mapred.MapReduceBase;  
    import org.apache.hadoop.mapred.OutputCollector;  
    import org.apache.hadoop.mapred.Reducer;  
    import org.apache.hadoop.mapred.Reporter;  
      
    public class WC_Reducer  extends MapReduceBase implements Reducer {  
    public void reduce(Text key, Iterator values,OutputCollector output,  
     Reporter reporter) throws IOException {  
    int sum=0;  
    while (values.hasNext()) {  
    sum+=values.next().get();  
    }  
    output.collect(key,new IntWritable(sum));  
    }  
    }

文件：WC_Runner.java

package com.javatpoint;

    import java.io.IOException;  
    import org.apache.hadoop.fs.Path;  
    import org.apache.hadoop.io.IntWritable;  
    import org.apache.hadoop.io.Text;  
    import org.apache.hadoop.mapred.FileInputFormat;  
    import org.apache.hadoop.mapred.FileOutputFormat;  
    import org.apache.hadoop.mapred.JobClient;  
    import org.apache.hadoop.mapred.JobConf;  
    import org.apache.hadoop.mapred.TextInputFormat;  
    import org.apache.hadoop.mapred.TextOutputFormat;  
    public class WC_Runner {  
        public static void main(String[] args) throws IOException{  
            JobConf conf = new JobConf(WC_Runner.class);  
            conf.setJobName("WordCount");  
            conf.setOutputKeyClass(Text.class);  
            conf.setOutputValueClass(IntWritable.class);          
            conf.setMapperClass(WC_Mapper.class);  
            conf.setCombinerClass(WC_Reducer.class);  
            conf.setReducerClass(WC_Reducer.class);       
            conf.setInputFormat(TextInputFormat.class);  
            conf.setOutputFormat(TextOutputFormat.class);         
            FileInputFormat.setInputPaths(conf,new Path(args[0]));  
            FileOutputFormat.setOutputPath(conf,new Path(args[1]));   
            JobClient.runJob(conf);  
        }  
    }

下载源代码。

  • 创建该程序的jar文件，并将其命名为countworddemo.jar。
  • 运行jar文件hadoop jar /home/codegyani/wordcountdemo.jar com.javatpoint.WC_Runner /test/data.txt / r_output
  • 输出存储在/ r_output / part-00000

  • 现在执行命令以查看输出。 hdfs dfs -cat / r_output / part-00000