📜  Apache Spark reduceByKey函数

📅  最后修改于: 2020-12-27 02:48:38             🧑  作者: Mango

Spark reduceByKey函数

在Spark中,reduceByKey函数是执行数据聚合的常用转换操作。它接收键-值对(K,V)作为输入,基于键聚合值,并生成(K,V)对的数据集作为输出。

reduceByKey函数的示例

在此示例中,我们基于键汇总值。

  • 要在Scala模式下打开Spark,请遵循以下命令。
$ spark-shell

  • 使用并行化的集合创建一个RDD。
scala> val data = sc.parallelize(Array(("C",3),("A",1),("B",4),("A",2),("B",5)))

现在,我们可以使用以下命令读取生成的结果。

scala> data.collect

  • 应用reduceByKey()函数汇总值。
scala> val reducefunc = data.reduceByKey((value, x) => (value + x))
  • 现在,我们可以使用以下命令读取生成的结果。
scala> reducefunc.collect

在这里,我们得到了期望的输出。