📌  相关文章
📜  Apache Spark Map函数

📅  最后修改于: 2020-12-27 02:40:06             🧑  作者: Mango

火花图函数

在Spark中，地图通过函数传递源的每个元素，并形成一个新的分布式数据集。

地图函数示例

在此示例中，我们向每个元素添加常数10。

  • 要在Scala模式下打开火花，请遵循以下命令
$ spark-shell

  • 使用并行化集合创建RDD。
scala> val data = sc.parallelize(List(10,20,30))
  • 现在，我们可以使用以下命令读取生成的结果。
scala> data.collect

  • 应用map函数并传递执行所需的表达式。
scala> val mapfunc = data.map(x => x+10)
  • 现在，我们可以使用以下命令读取生成的结果。
scala> mapfunc.collect

在这里，我们得到了期望的输出。