Hadoop - MapReduce 中的映射器

在 Hadoop 中，MapReduce 是一种处理海量数据的编程框架。它通过将数据分成多个块，然后并行处理每个块来实现高效的数据处理。MapReduce 由两个主要组件组成：映射器和归约器。

映射器是一个数据处理函数，它将输入数据转换为键值对。这些键值对被归约器聚合以产生最终结果。映射器的任务是将输入数据转换为中间键值对，这些键值对将传递给归约器。映射器通常是程序员实现的，以便根据应用程序的需要定制。

下面是一个典型的映射器实现的代码片段：

public class MyMapper extends Mapper<LongWritable, Text, Text, IntWritable> {

    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String line = value.toString();
        StringTokenizer tokenizer = new StringTokenizer(line);

        while (tokenizer.hasMoreTokens()) {
            word.set(tokenizer.nextToken());
            context.write(word, one);
        }
    }
}

在上面的代码片段中，我们定义了一个名为 MyMapper 的类，它扩展了 Mapper 类。该类使用 LongWritable 和 Text 作为输入，并将 Text 和 IntWritable 作为输出。在映射器中，我们将输入文本行分成单个单词，以便将其转换为键值对。

要将映射器添加到 MapReduce 作业中，您需要通过以下方式指定它：

job.setMapperClass(MyMapper.class);

其中，job 是一个 Job 对象，您可以使用它来设置 MapReduce 作业的其他属性。

总之，映射器是实现 MapReduce 的关键组件之一。它的作用是将输入数据转换为中间键值对，这些键值对将传递给归约器进行合并和汇总。通过合理地定制映射器，您可以优化数据处理，从而提高应用程序的效率。