 近期，Apache DolphinScheduler 將迎來 3.2.0 版本的到來。本次發版為大版本 ...
近期，Apache DolphinScheduler 將迎來 3.2.0 版本的到來。本次發版為大版本發佈，將會帶來眾多大家期待已久的新功能和新改進。為了讓用戶提前感知到新版本的變化，社區特意提前“劇透”新版本的重要 feature，並製作了視頻進行介紹。
添加預設租戶
在之前的版本中，用戶部署完畢後必須手動添加租戶。3.2.0 版本中添加了預設租戶，方便大家更直接地使用 Apache DolphinScheduler。
新增多種數據源
新增了多個數據源，如 Snowflake、Databend、Kyuubi、OceanBase、Dameng、AzureSQL、StarRocks、AWS Athena，並且更新了部分數據源，如 Redshift 增加 Access key。
新增任務類型
新增了多個任務類型，如
- 通用模塊中，增加 Remote-shell 組件
- Cloud 模塊中，新增 Amazon DMS、Azure Datafactory，增強與各種雲的互聯互通
- 機器學習模塊中，新增 Kubeflow 組件（基於雲原生構建的機器學習任務工具大合集）
- 其他模塊中，增加 Amazon Datasync、Apache Linkis
- 更新了部分任務，如 DataX 支持 Presto，http任務增加output 參數傳遞，運行批量同時 kill 多個 Yarn 任務
- Dependent 支持依賴自己
- Zeppelin 鑒權
- 任務支持了緩存
- Sqoop 日誌支持隱藏密碼
- SQL 任務支持預設切割符
重跑任務時指定工作流向前、向後運行
之前在任務執行失敗後，用戶只能通過工作流重跑。新版本中，我們可以指定當前工作流向前、向後執行，更加靈活地對失敗後的任務進行處理。
遠程日誌
增加了遠程日誌功能，並同時支持了 Google Cloud Storage、Amazon S3、阿裡雲 OSS 日誌存儲，大家可以通過編輯配置文件，把日誌存儲到雲端。
參數
- 調整參數優先順序，啟動參數最高。
- 增加了內置參數計算規則
- 增加了文件類型的參數
資源中心
- 增加了Alibaba Cloud OSS的支持，重構資源中心並設計預設使用本地作為存儲介質，重新支持了 re-upload。
- 資源中心容許覆蓋上傳，優化文件路徑，顯示文件的全部路徑。另外，之前版本中資源中心已經上傳的同類型文件只能刪除後重新上傳，新版本中對本功能進行了優化，可以點擊上傳按鈕進行上傳。
增強頁面易用性
- 增加頁面易用性和便利性，如增加 workflow instance 跳轉到當前工作流、複製工作流名稱、調整列寬等操作
- 預設情況下會有 default 租戶和本地資源中心，安裝後就能使用
- 允許在 workflow instance 中重新運行任務，更加明確的任務運行日誌
- json 導出可閱讀性更強
雲原生相關
- 支持 KEDA 做 worker 自動擴縮容
- 支持 Terraform 部署到 AWS
- zk 和 pg 支持多架構
- 提交 spark 任務到 Kubernetes
- 獲取 pod 實時日誌
- 自定義 k8s 任務標簽
API
- 增加了部分 Restful API，包括 taskInstance、workflow state、workflowInstance、workflow and schedule、task relation
- API 觸發工作流運行可以獲得instance ID
註冊中心
增加 ETCD、JDBC 註冊中心
架構
- Alert 支持 HA
- 單線程更新 Kerberos
- Worker server 移除了 dao 依賴
- 接管 task instance 失敗的任務
- 增加動態任務組配置
- 重構了邏輯任務和遠程命令
- 資源限制（cpu 記憶體）從原來絕對值改成百分比
- 支持了 SSO
3.2.0 正式版本發佈流程正在準備中，敬請關註官網和 GitHub，獲取最新消息！
本文由 白鯨開源 提供發佈支持！
