Spark groupByKey函数

在Spark中，groupByKey函数是执行数据改组的常用转换操作。它接收键值对(K，V)作为输入，基于键对值进行分组，并生成(K，Iterable )对作为输出。

groupByKey函数的示例

在此示例中，我们根据键对值进行分组。

• 要在Scala模式下打开Spark，请遵循以下命令。

$ spark-shell

• 使用并行化的集合创建一个RDD。

scala> val data = sc.parallelize(Seq(("C",3),("A",1),("B",4),("A",2),("B",5)))

现在，我们可以使用以下命令读取生成的结果。

scala> data.collect

• 应用groupByKey()函数对值进行分组。

scala> val groupfunc = data.groupByKey()

• 现在，我们可以使用以下命令读取生成的结果。

scala> groupfunc.collect

在这里，我们得到了期望的输出。