親愛的社區小伙伴們,歷時數月,我們很高興地宣佈,ChunJun 即將迎來 1.16 Release 版本的正式發佈。在新版本中,ChunJun 新增了一批常用功能,進行了多項功能優化和問題修複,併在用戶使用體驗上進行了極大地改善。有17位Contributor 為 ChunJun 提交了多項優化和修 ...
親愛的社區小伙伴們,歷時數月,我們很高興地宣佈,ChunJun 即將迎來 1.16 Release 版本的正式發佈。在新版本中,ChunJun 新增了一批常用功能,進行了多項功能優化和問題修複,併在用戶使用體驗上進行了極大地改善。有17位Contributor 為 ChunJun 提交了多項優化和修複,感謝因為有你們才讓 ChunJun 變得更好!
ChunJun 1.16 版本目前已經發佈到master,需要試跑一個月再發佈 release 版本。在 1.16 版本中,我們整理了項目 maven 依賴,優化了 FTP、JDBC 插件,增加了 Iceberg、Nebula 插件,對 ChunJun 的易用性、穩定性、高效性等各個方面進行了全面加強,歡迎大家使用體驗。
體驗地址
Github:
https://github.com/DTStack/chunjun
Gitee:
https://gitee.com/dtstack_dev_0/chunjun
社區官網:
https://dtstack.github.io/chunjun/
ChunJun 1.16 版本
重要更新
· 框架整體依賴的 Flink 版本升級至 1.16.1,維表插件依賴原生介面,在使用層面更加統一。
· 細化 github ci/cd 的 work flow 流程,保證開源版本代碼質量。
· 整理項目 maven 依賴,減少類衝突的可能,同時使項目依賴更加清晰。
· 優化 FTP 插件,提升 FTP 同步性能。
· 優化 JDBC 插件,提升 JDBC 同步性能。
· HBase 插件增加 TTL 超時時間。
· 增加 Iceberg 寫入插件。
· 增加 Nebula 插件,支持讀取、寫入、維表功能。
· HTTP 插件支持 data 數組。
· SQL 支持運行 Batch 模式。
問題修複
· 修複 client 端提交 k8s 任務時的異常。
· 修複維表在找不到數據時直接拋出異常的情況。
· 修複在 windows 環境下打包時,sh 腳本中換行為 \r,會導致在 linux 下運行示例腳本時異常。
· 修複 HBase 插件在類型轉化為 INT 時的異常。
· 修複 Flink CDC 在 SQL 模式下的運行異常。
· 修複 Orc 文件無法讀取 Timestamp 欄位的異常情況。
· 修複 Mongodb 常量異常。
捉蟲活動 · 找 bug
ChunJun 1.16 發佈到 master 以來,社區小伙伴陸陸續續提出了一些相關的問題。由於升級初期測試驗證的場景覆蓋不全,需要更多人的力量一起來幫忙驗證,發現和修複問題,同時1.12 上也仍然存在一些常見的使用問題。
因此 ChunJun 社區決定廣發英雄帖,邀請各路捉蟲達人,一起幫助 ChunJun 在穩定性上更上一層樓。我們也將送出智能音箱、星巴克禮品卡、藍牙耳機等多項好禮作為報答。
活動報名
將你使用 ChunJun 過程中遇到的 bug 提交到以下地址,提交的 issuse 和 pr 符合社區規範,且被驗證確認即可獲得豐厚獎勵。
到 ChunJun 提交 issuse:
https://github.com/DTStack/chunjun/issues
到 ChunJun 提交 Pr:
https://github.com/DTStack/chunjun/pulls
活動規範
issue 不強制要求中英文,但是 Pr commit 強制要求為英文。
issue 規範:
· 問題描述清晰準確,上下文詳細,包含具體的版本號/分支、提交參數、任務模式等,如果可以,請帶上具體的任務腳本;
· 異常信息及堆棧信息完整;
· 包含詳細清晰的復現步驟。
Pr 規範:
· Pr 內描述清楚設計思路及解決了什麼問題,如果有必要,請開一個 issue 將問題描述清楚;
· Commit 信息完整且清晰,且為英文;
· 新增方法、修改方法需要儘可能補充單測;
· 新增插件需要補充文檔,使用案例,儘可能補充 e2e 測試。
活動範圍&時間
活動範圍:
ChunJun 1.12 以及之後版本(包含即將發佈的 1.16)
活動時間:
2023年3月1日-2023年3月31日
活動積分
本次捉蟲活動採用積分賽制,bug 提交人將獲得不同的積分。
提交一個issuse:5積分
提交一個pr:15~30積分(以5分為一檔,以影響範圍、完整性及複雜度三個維度進行評判)
活動禮品
本次活動獲得 bug 積分可用來兌換精美禮品。
• 盲盒 * 1個:20個積分
• 水杯 * 1個:30個積分
• 三合一數據線 * 1個:40個積分
• 藍牙耳機 * 1個:60個積分
• 星巴克禮品卡 * 1張:80個積分
• 智能音箱 * 1個:120個積分
註:ChunJun 社區對本次活動有最終解釋權
特別鳴謝
感謝對本次版本發佈提供支持和幫助的社區朋友們,正是因為有你們的貢獻,才有 ChunJun 1.16 版本的問世,再次對你們表達最真誠的謝意。
以下為參與本次版本發佈的人員名單,他們分別是(首字母排序):
想瞭解或咨詢更多有關袋鼠雲大數據產品、行業解決方案、客戶案例的朋友,瀏覽袋鼠雲官網:https://www.dtstack.com/?src=szbky
同時,歡迎對大數據開源項目有興趣的同學加入「袋鼠雲開源框架釘釘技術qun」,交流最新開源技術信息,qun號碼:30537511,項目地址:https://github.com/DTStack