1 定義 一個數據集是分散式的數據集合。Spark 1.6增加新介面Dataset，提供 RDD的優點：強類型、能夠使用強大lambda函數 Spark SQL優化執行引擎的優點 可從JVM對象構造Dataset，然後函數式轉換（map、flatMap、filter等）操作。Dataset API在 ...
1 定義
一個數據集是分散式的數據集合。Spark 1.6增加新介面Dataset，提供
- RDD的優點：強類型、能夠使用強大lambda函數
- Spark SQL優化執行引擎的優點
可從JVM對象構造Dataset，然後函數式轉換（map、flatMap、filter等）操作。Dataset API在Scala和Java中可用。
Python不支持Dataset API，但由於Python動態性質，許多Dataset API優點已經能使用（可通過名稱自然訪問行的欄位row.columnName）。R的情況類似。
Python支持DataFrame API是因為DataFrame API是基於Python#Pandas庫構建，而Pandas庫提供強大易用的數據分析工具集。因此，Spark提供對Pandas DataFrame對象的支持，使Python使用DataFrame API非常方便。Python的Pandas也提供強類型保證，使Spark可在保持動態特性同時提供類型檢查和類型推斷。因此，雖Python不支持Spark的Dataset API，但它支持Spark的DataFrame API，這為Python用戶提供一種方便的數據處理方式。
2 案例
package com.javaedge.bigdata.cp04
import org.apache.spark.sql.{DataFrame, Dataset, SparkSession}
object DatasetApp {
def main(args: Array[String]): Unit = {
val projectRootPath = "/Users/javaedge/Downloads/soft/sparksql-train"
val spark = SparkSession.builder()
.master("local").appName("DatasetApp")
.getOrCreate()
import spark.implicits._
// 創建一個包含一條記錄的Seq，這條記錄包含一個名為 "JavaEdge" 年齡為 18 的人員信息
val ds: Dataset[Person] = Seq(Person("JavaEdge", "18"))
// 將Seq轉換為一個Dataset[Person]類型數據集，該數據集只包含一條記錄
.toDS()
ds.show()
val primitiveDS: Dataset[Int] = Seq(1, 2, 3).toDS()
primitiveDS.map(x => x + 1).collect().foreach(println)
val peopleDF: DataFrame = spark.read.json(projectRootPath + "/data/people.json")
val peopleDS: Dataset[Person] = peopleDF.as[Person]
peopleDS.show(false)
peopleDF.select("name").show()
peopleDS.map(x => x.name).show()
spark.stop()
}
/**
* 自定義的 case class，其中包含兩個屬性
*/
private case class Person(name: String, age: String)
}
output：
+--------+---+
| name|age|
+--------+---+
|JavaEdge| 18|
+--------+---+
2
3
4
+----+-------+
|age |name |
+----+-------+
|null|Michael|
|30 |Andy |
|19 |Justin |
+----+-------+
+-------+
| name|
+-------+
|Michael|
| Andy|
| Justin|
+-------+
+-------+
| value|
+-------+
|Michael|
| Andy|
| Justin|
+-------+
3 DataFrame V.S Dataset
val peopleDF: DataFrame = spark.read.json(projectRootPath + "/data/people.json")
val peopleDS: Dataset[Person] = peopleDF.as[Person]
peopleDS.show(false)
// 弱語言類型，運行時才報錯
peopleDF.select("nameEdge").show()
編譯期報錯：
關註我，緊跟本系列專欄文章，咱們下篇再續！
作者簡介：魔都技術專家兼架構，多家大廠後端一線研發經驗，各大技術社區頭部專家博主。具有豐富的引領團隊經驗，深厚業務架構和解決方案的積累。
負責：
- 中央/分銷預訂系統性能優化
- 活動&優惠券等營銷中台建設
- 交易平臺及數據中台等架構和開發設計
- 車聯網核心平臺-物聯網連接平臺、大數據平臺架構設計及優化
目前主攻降低軟體複雜性設計、構建高可用系統方向。
參考：
本文由博客一文多發平臺 OpenWrite 發佈！
