2022年7月26日,Taier1.2版本正式發佈! 本次版本發佈更新功能: 新增工作流 新增OceanBase SQL 新增Flink jar任務 數據同步、實時採集支持臟數據管理 Hive UDF 控制台UI升級 租戶綁定簡化 新版本的使用文檔已在社區中推送,大家可以隨時下載查閱,歡迎大家體驗新 ...
2022年7月26日,Taier1.2版本正式發佈!
本次版本發佈更新功能:
-
新增工作流
-
新增OceanBase SQL
-
新增Flink jar任務
-
數據同步、實時採集支持臟數據管理
-
Hive UDF
-
控制台UI升級
-
租戶綁定簡化
新版本的使用文檔已在社區中推送,大家可以隨時下載查閱,歡迎大家體驗新版本功能(喜歡我們的項目歡迎大家點個Star),體驗地址:
Github:
https://github.com/DTStack/Taier
Gitee:
https://gitee.com/dtstack_dev_0/taier
社區:
https://dtstack.github.io/Taier/
Taier1.2版本介紹
Taier 是一個大數據分散式可視化的DAG任務調度系統,旨在降低ETL開發成本、提高大數據平臺穩定性,大數據開發人員可以在 Taier 直接進行業務邏輯的開發,而不用關心任務錯綜複雜的依賴關係與底層的大數據平臺的架構實現,將工作的重心更多地聚焦在業務之中。
Taier 脫胎於袋鼠雲數棧,技術實現來源於數棧分散式調度引擎DAGScheduleX,是數棧產品的重要基礎設施之一,負責大數據平臺所有任務實例的調度運行。
2022年2月22日,Taier正式開源併發布1.0版本。
2022年5月8日,Taier1.1版本發佈,更新對Flink的支持升級到Flink1.12,支持多種流類型任務等功能。
2022年7月26日,Taier1.2版本發佈,本次發佈重點新增工作流功能,實現配置化編排業務;租戶簡化綁定,不同類型計算組件無強制依賴等功能。
Taier1.2新增功能詳解
1.新增工作流
通過可視化操作拖動任務節點到畫板中,手動連接上下游任務組成依賴關係,形成一個DAG的工作流。同時支持任意類型的任務通過工作流拖拽的方式,直接實現配置化編排業務
2.新增OceanBase SQL
新增OceanBaseSQL 任務,支持OceanBaseSQL的任務調度和運維展示。
3.新增Flink jar任務
支持上傳自定義開發的Flink jar任務,通過Taier提交運行和監控。
4. 數據同步、實時採集支持臟數據管理
數據同步、實時採集支持臟數據管理,可以配置臟數據數量限制和保存方式,可保存至資料庫實時查看。
5.Hive UDF
Hive SQL 支持udf函數開發配置。
6.控制台UI升級
控制台交互和頁面全新升級,通過樹形結構展示組件配置信息,同時支持擴展自定義組件進行配置。
7.租戶綁定簡化
集群和租戶綁定簡化,移除租戶對接集群schema的強制綁定關係,不同類型計算組件無強制依賴;優化任務開發流程邏輯,支持自定義擴展任務類型。
未來規劃
Taier自今年2月份開源以來,已更新迭代Taier1.1、Taier1.2兩個版本,目前Taier1.3的版本已在規劃中,在新版本中我們將著重解決以下幾個問題:
-
支持Flink Standalone 不依賴Hadoop也可以使用Flink相關的功能,降低上手環境成本
-
適配開發者Window環境,支持Window環境下的任務提交流程
-
DatouSourceX版本升級,新增更多的數據源類型支持
除了不斷保持迭代更新外,Taier將持續保持每月一次開源技術直播,幫助Taier開發者們更好的使用產品,歡迎有興趣的小伙伴們加入我們的交流社群(釘釘qun:30537511),一起交流Taier的技術問題及難點,和Taier一起共同進步!
袋鼠雲開源框架釘釘技術交流qun(30537511),歡迎對大數據開源項目有興趣的同學加入交流最新技術信息,開源項目庫地址:https://github.com/DTStack