📅  最后修改于: 2020-12-27 02:48:38             🧑  作者: Mango
在Spark中,reduceByKey函数是执行数据聚合的常用转换操作。它接收键-值对(K,V)作为输入,基于键聚合值,并生成(K,V)对的数据集作为输出。
在此示例中,我们基于键汇总值。
$ spark-shell
scala> val data = sc.parallelize(Array(("C",3),("A",1),("B",4),("A",2),("B",5)))
现在,我们可以使用以下命令读取生成的结果。
scala> data.collect
scala> val reducefunc = data.reduceByKey((value, x) => (value + x))
scala> reducefunc.collect
在这里,我们得到了期望的输出。