2022年11月7日,Taier1.3版本正式發佈! Taier 是一個大數據分散式可視化的DAG任務調度系統,旨在降低ETL開發成本、提高大數據平臺穩定性,大數據開發人員可以在 Taier 直接進行業務邏輯的開發,而不用關心任務錯綜複雜的依賴關係與底層的大數據平臺的架構實現,將工作的重心更多地聚焦 ...
2022年11月7日,Taier1.3版本正式發佈!
Taier 是一個大數據分散式可視化的DAG任務調度系統,旨在降低ETL開發成本、提高大數據平臺穩定性,大數據開發人員可以在 Taier 直接進行業務邏輯的開發,而不用關心任務錯綜複雜的依賴關係與底層的大數據平臺的架構實現,將工作的重心更多地聚焦在業務之中。
Taier自今年2月份開源之後,得到了社區開發者的廣泛支持,我們積極吸收社區開發者的意見建議,不斷迭代版本,目前已發佈了Taier1.1、Taier1.2這兩個大的版本更新。
本次發佈的Taier1.3版本,我們新增了Flink Standalone組件,融合了DataSourceX的模塊,並新增了Python、Shell、ClickHouse、Doris SQL等多種任務,任務數據源綁定,任務支持指定隊列運行,併進行了部署優化,同時對官網社區的UI進行了全新的升級改造。
目前新版本已在Github與Gitee上線,同時使用文檔也在社區推送,大家可以隨時下載查閱,歡迎大家前往體驗(喜歡我們的項目歡迎大家點個Star),體驗地址:
Github:
https://github.com/DTStack/Taier
Gitee:
https://gitee.com/dtstack_dev_0/taier
社區官網:
https://dtstack.github.io/Taier/
同時為了方便沒有釘釘的開發者們更好的交流Taier開源技術,我們新建了Taier開源技術微信交流群,歡迎大家加入一起探討開源技術~
Taier1.3版本詳解
01 新增Flink Standalone
新增Flink Standalone組件,可以通過Flink Standalone使用Flink SQL、數據同步、實時採集等任務相關功能。移除Taier對Hadoop組件的強依賴,支持輕量化的數據處理。
02 DataSourceX融合
Taier融合DataSourceX模塊,移除Taier外部插件依賴。新增數據源插件相關特性,支持後續Taier對接更多的RDBMS類型的SQL任務。
03 新增Python、Shell任務
新增Script組件,支持Python、Shell任務類型,可以在Taier上通過腳本類型任務進行操作。
04 新增ClickHouse、Doris SQL任務
新增ClickHouse、Doris SQL任務類型,支持數據同步腳本模式到ClickHouse、Doris,再進行任務調度處理。
05 任務數據源綁定
控制台組件移除SQL類型組件配置,SQL任務直接和數據源互相綁定,支持任務和數據源一對一的執行,將SQL執行域細分到具體的單個數據源。
06 任務支持指定隊列運行
Hadoop類型任務支持指定隊列運行,隊列資源隔離細分到任務級別。
07 部署優化
Taier優化單機部署,優化前後端部署操作,簡化docker鏡像部署流程,降低上手難度。
08 官網升級
Taier社區新官網上線,UI設計全面升級。
後續版本規劃
Taier今年更新了3個大的版本,按照社區規劃,後續版本我們計劃重點圍繞關鍵點:
● 完善Taier Datasource 模板支持SQL任務
● HadoopMR、Spark Jar、PySpark 任務支持
● 任務告警
● Windows開發環境適配
我們歡迎社區的開發者們一起參與到Taier的版本建設中來,同時大家如果有其他的意見建議也可以給我們提一個Issue或者PR,大家可以來一起探討怎麼更好的共建項目。感興趣的小伙伴們可以加入我們的技術交流社群,一起交流Taier的技術問題及難點,共建Taier!
袋鼠雲開源框架釘釘技術交流qun(30537511),歡迎對大數據開源項目有興趣的同學加入交流最新技術信息,開源項目庫地址:https://github.com/DTStack/Taier