📅  最后修改于: 2020-12-04 00:45:35             🧑  作者: Mango
在Spark char计数示例中,我们发现特定文件中每个字符的出现频率。在这里,我们使用Scala语言执行Spark操作。
在此示例中,我们找到并显示每个字符的出现次数。
$ nano sparkdata.txt
$ cat sparkdata.txt
$ hdfs dfs -mkdir /spark
$ hdfs dfs -put /home/codegyani/sparkdata.txt /spark
$ spark-shell
scala> val data=sc.textFile("sparkdata.txt");
在这里,传递包含数据的任何文件名。
scala> data.collect;
scala> val splitdata = data.flatMap(line => line.split(""));
scala> splitdata.collect;
scala> val mapdata = splitdata.map(word => (word,1));
在这里,我们为每个单词分配一个值1。
scala> mapdata.collect;
scala> val reducedata = mapdata.reduceByKey(_+_);
在这里,我们总结了生成的数据。
scala> reducedata.collect;
在这里,我们得到了期望的输出。