Spark基礎和RDD

spark

1. Spark的四大特性

1. 速度快

• spark比mapreduce快的兩個原因

  • 1. 基於記憶體

  1. mapreduce任務後期在計算的是時候，每一個job的輸出結果都會落地到磁碟，後續有其他的job要依賴於前面job的輸出結果，這個時候就需要進行大量的磁碟io操作，性能較低
  
  2. spark任務後期在進行計算的時候，job的結果是可以保存在記憶體中的，後面有其他的job需要以言語前面job的輸出結果，這個時候可以直接從記憶體中讀取，避免了磁碟io操作，性能比較高
  
  spark程式和mapreduce程式都會產生shuffle階段，在shuffle階段中他們產生的數據都會保留在磁碟中

  • 1. 進程與線程

    1 mapreduce任務以進程的方式運行在yarn集群中，比如說有100個mapTask，一個task就需要一個進程，這些task要運行就需要開啟100個進程
  
    2 spark任務以線程的方式運行在進程中,比如說有100個task，則一個task就對應一個線程

  1. 易用性
  2. 可以用java、scala、python、R等不同的語言來快速編寫spark程式
  3. 通用性
  4. 相容性
     1. spark程式有多種運行模式
        • standAlone
          • spark自帶的獨立運行模式，整個任務的資源分配由spark集群的的Master來負責
        • yarn
          • 可以把spark程式提交到yarn上運行，整個任務的資源分配由yarn中的ResourceManager負責
        • mesos
          • apache開源的一個類似於yarn的資源調度平臺

2. spark集群架構

​

• Driver
  • 他會執行客戶端寫好的main方法，構建一個SparkContext對象（該對象是所有spark程式的執行入口）
• Application
  • 是一個spark的應用程式，包含了客戶端的代碼和任務運行的資源信息
• ClusterManager
  • 給程式提供計算資源的外部服務
    • standAlone
      • spark自帶的集群模式，整個任務的資源分配由spark集群的Master負責
    • yarn
      • 把spark程式提交到yarn中運行，整個任務的資源分配由yarn中的ResourceManager負責
    • mesos
      • apache開源的一個類似於yarn的資源調度平臺
• Master
  • Spark集群的主節點，負責任務資源的分配
• Worker
  • Spark集群的從節點，負責任務計算的節點
• Executor
  • 是一個在worker節點啟動的進程
• Task
  • spark任務的以task線程的方式運行在worker節點的executor進程中的

3. RDD是什麼

• RDD （Resilient Distributed Dataset）叫做彈性分散式數據集，是Spark中最基本的抽象單位。它代表的是是一個不可變的、可分區的、裡面元素可以並行計算的數據集合。
  • Resilient 彈性的，表示RDD中的數據既可以保存在磁碟上也能保存在記憶體中
  • Distibuted 分散式的，表示RDD的數據是分散式存儲的，方便後期的各種計算
  • Dataset 一個數據集合，可以存儲很多數據

4. RDD的五大屬性

• A list of partitions
  • 一個分區列表，數據集的基本組成單位
    • 這裡表示的是一個RDD可能會有多個分區，每個分區會存儲該RDD的一部分數據，Spark中任務是以task線程的方式運行的，一個分區就對應一個task
• A function of computing each split
  • 一個用來計算每個分區的函數
    • Spark中RDD的計算是以分區為單位的

• A list of dependencies on other RDDs

  • 一個RDD會依賴於其他多個RDD

    這裡是說RDD和RDD之間是有依賴關係的，spark任務的容錯機制就是根據這個特性（血統）而來

• Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)

  • 一個Patitioner，即RDD的分區函數(可選項)

        spark中實現了兩種類型的分區函數
        1 基於哈希的HashPartitioner，（key.hashcode % 分區數 = 分區號）
        2 基於範圍的RangePartitioner
    
        只有對於key-value的RDD，並且產生shuffle，才會有Partitioner
        非key-value的RDD的Partitioner的值是None

• Optionally, a list of preferred locations to compute each split in (e.g. block locations for an HDFS file)

  • 一個列表，存儲每個Partition的優先位置（可選項）

    spark任務在調度的時候會優先考慮存有數據的節點開啟計算任務，以減少數據的網路傳輸，提成計算效率

5. RDD運算元分類

• transformation（轉換）
  • 根據已經存在的RDD轉換生成另外一個新的RDD，它是延遲載入，不會立即執行
  • 如
    • map、flatMap、reduceByKey
• action（動作）
  • 會觸發任務的運行
    • 將RDD計算的結果數據返回給Driver端，或者保存到外部存儲介質（磁碟、記憶體、HDFS）
  • 如
    • collect、saveAsTextFile

6. RDD常見的運算元操作

6.1 transformation運算元

6.2 action運算元