視頻貢獻者 | 王維饒

視頻製作者 | 聶同學

編輯整理 | Debra Chen

Apache DolphinScheduler 3.2.0 版本將發佈，為了讓大家提前瞭解到此版本更新的主要內容，我們已經製作了幾期視頻和內容做了大致介紹，包括《重磅預告！Apache DolphinScheduler 3.2.0 新功能“劇透”》、《3.2.0 版本預告！Apache DolphinScheduler API 增強相關功能》、《3.2.0 版本預告！遠程日誌解決 Worker 故障獲取不到日誌的問題》。

今天，我們來介紹另一個用戶也很關註的雲原生相關功能更新。

https://www.bilibili.com/video/BV1e8411Q789/?vd_source=e59b2227d15c7740a5c5f40e4a675095

今天為各位介紹一下 Apache DolphinScheduler 3.2.0雲原生的相關新功能，主要分為兩個部分：

• 對K8S任務類型的增強
• 對Spark on K8S新功能的支持

K8S任務類型增強

我們主要是介紹三個新功能：

• 支持自定義標簽
• 支持自定義節點選擇器
• 支持任務日誌的實時收集

對於前兩個功能，因為K8S本身提供了對各類對象去定義Label的能力，使得用戶也可以更好地進行對象的管理。

另外，用戶也可以去定義節點選擇器，將對象調度到指定節點上。這兩個功能在生產環境中對用戶是有很大的幫助的。因此，3.2.0版本也選擇去實現支持這兩個功能。

日誌實時收集其實是對3.1.X版本的改進。之前，Apache DolphinScheduler只會在任K8S任務執行失敗的時候去收集末尾起幾行錯誤日誌，但顯然實時收集全量日誌是對用戶更加友好的一個功能。

我們跑一個K8S類型的任務，來看一下這三點增強的效果（見視頻 01:11s-03:06s）。

Spark on K8S支持

在3.2.0版本中，Apache DolphinScheduler將支持Spark提交到原生K8S集群的模式。

以事先定義好的一個Spark on K8S的工作流為例，在這個Spark任務中，我們會發現已經添加了一個新的選擇框—Namespace。如果用戶選擇了Namespace，即它非空時，我們認為用戶是期待把這個Spark任務提交到K8S集群上做執行。

同樣地，在這個任務中，用戶也可以去自定義他們的Option，具體可以參考Spark官網，根據自己K8S集群的狀態去定義他們的Option。

在Spark on K8S的任務中，我們也會實時地收集Driverpod日誌，並對Driverpod進行生命周期管理。如果當前任務是執行成功的狀態，我們會將Pod刪除掉；如果執行失敗，Pod會保留在集群中，供用戶做診斷分析。

查看運行狀態（見視頻04:03s-結尾）。

本文由 白鯨開源 提供發佈支持！