Spark和Scala當中的collect方法的用法和例子

[學習筆記]

collect: 收集一個彈性分散式數據集的所有元素到一個數組中,這樣便於我們觀察，畢竟分散式數據集比較抽象。Spark的collect方法，是Action類型的一個運算元，會從遠程集群拉取數據到driver端。最後，將大量數據
 彙集到一個driver節點上，將數據用數組存放，占用了jvm堆記憶體，非常用意造成記憶體溢出，只用作小型數據的觀察。*/
    val arr = res.collect();
    println("arr(0) is " + arr(0) + " arr(2) is " + arr(2) + " arr(4) is " + arr(4));
  }
}
輸出結果：
map 用法  is 1,16,9,49,25
filter 用法 1,4,3
map2 用法  is 馬克-to-win @ 馬克java社區：2,5,4,8,6
filter2 用法 馬克-to-win @ 馬克java社區：4,7,5
arr(0) is 1 arr(2) is 3 arr(4) is 5
sum is 55
reduceByKey 用法 (1,8),(3,12)

文章轉載自原文：https://blog.csdn.net/qq_44596980/article/details/93383431