Apache Dolphin Scheduler 3.0.1 發佈,對核心及UI相關進行優化

来源:https://www.cnblogs.com/DolphinScheduler/archive/2022/10/10/16775152.html
-Advertisement-
Play Games

點亮 ⭐️ Star · 照亮開源之路 GitHub:https://github.com/apache/dolphinscheduler ​ 版本發佈 感謝本次的 Release Manager --@zhuangchong,是他主導了我們這個版本的發佈流程,引導社區進行版本內容溝通,發版前的問題 ...


點亮 ⭐️ Star · 照亮開源之路

GitHub:https://github.com/apache/dolphinscheduler

版本發佈

感謝本次的 Release Manager --@zhuangchong,是他主導了我們這個版本的發佈流程,引導社區進行版本內容溝通,發版前的問題跟蹤,blocking issue 處理,版本質量管理等,感謝@zhuangchong為社區的付出,也期待其他 CommitterPMC 能夠一起參與到 Release Manager 的角色中來。

在3.0.0 正式版本發佈1個多月之後,期間社區也緊鑼密鼓的進行著新版本的迭代的籌備,通過用戶訪談對一線的建議、意見反饋進行收集,作為3.0.1版本的核心開發點,我們約談了多個企業,社區收集了上百條 issue PR近30位貢獻者參與,推出了大家期盼已久的3.0.1版本,該版本對於UI以及調度內核做了些許調整,同時也修複了一些3.0.0版本存在的bug,非常歡迎社區的小伙伴參加到社區的共建中。

Release note:

https://github.com/apache/dolphinscheduler/releases/tag/3.0.1

核心相關 Core Related

  • 工作流執行可運行將面臨無限迴圈

  • 升級時提示資料庫欄位存在問題

  • 普通用戶不能創建依賴任務

  • 任務、工作流實例優先順序導致 NPE

  • Dependent 下游錯誤觸發

  • 修複工作流實例可能多次故障轉移

  • 任務組獲取任務狀態為運行錯誤

  • 修複worker 殺任務觸發 OOM

UI相關優化 UI-related optimization

  • 工作流列表名稱顯示重疊

  • 工作流實例不支持運行

  • 數據源修改埠報錯

  • 工作實例操作不在同一行

  • 顯示工作流名稱

資源中心 Resource Center

資源中心 defaultFs 配置失效問題

文檔相關 Documentation Related

增加了部分提醒性語言,如上傳文檔時候的全路徑、standalone 預設資源中心的使用;

更正了原本錯誤的文檔,如 工作流相關描述、創建 worker group相關、 python api 跳轉鏈接、部分拼寫錯誤、社區 email slack 鏈接;

Python API

本次主要增加了python 10 和 python 11-dev 支持,修複了 switch 任務類型,sql 任務 truncate 語法識別錯誤問題。同時修複了 python api 只有最新版文檔的問題

BUG Fix

  • [Improvement][UI] Unified local parameters UI #11190

  • [Fix][UI] Fix bug where icons are displayed in one line. #11320

  • [Improvement-11386][UI] Concise the logic available for task action buttons #11419

  • [Fix][UI] Fix the preTask options are unavailable when creating a tas… #11501

  • S3 Resource center supports bucket customization (#12022)

  • fix status check issue (#11580) (#12030)

  • [LDAP] Config value should return real null instead of 'null' string (#12031)

  • [3.0.1-preapre][cherry-pick]3.0.1 UI (#12020)

  • [Fix][UI] Fix bug where crontab special of month and year #11661

  • [UI] Enable highlight and auto-complete for SQL scripts #11659

  • [Fix][UI] Fix the problem that the pagination component is not centered in the environment management. #11646

  • [Fix][UI] Fix the port in the datasource edit. #11624

  • [Fix][UI] Fix the table header in the workflow instance. #11487

  • [Fix][UI] Fix bug where warn group name not display #11429

  • [Feature-10117][UI] Hide node execution when start from the workflow definition list page #11372

  • [Fix-11366][UI] Workflow instance should not support right-click running #11367

  • [fix-10961][alert server]Change the content of alert to an array (#11033)

  • [Fix][UI] Fix workflow name overlaps bug (#11862) (#12019)

  • [Bug] [Worker] Optimize the getAppId method to avoid worker OOM when kill task (#11994)

  • fix heartBeatTaskCount bug (#12024)

  • Fix kill task failed will cause the taskGroup cannot release and add taskGroup log (#11469) (#12013)

  • Workflow Definition Name Change Validation Optimization. (#11986)

  • add unit test ci timeout (#11655) (#12021)

  • [helm] fix worker template persistentVolumeClaim link (#11248) (#12018)

  • Set master's task running status in runTask to avoid the task group acquire failed, but the task status is in running (#11451) (#12011)

  • [python] Refactor structure to avoid cycle import (#11167)

  • [python] Add support interpreter version 310 and 311-dev (#11170)

  • [bug][python] Fix task switch error when default branch not defined last (#11606)

  • [fix][python] Sql pattern add truncate. (#11666)

  • Add dependent task instance log (#11541) (#12014)

  • If the task processor is not found need to throw error rather than exception (#11461) (#12012)

  • Fix workflow instance may failover many times due to doesn't check the restart time (#11445) (#12010)

  • Fix find last process instance in dependent task is not correct (#11424) (#12009)

  • Fix quartz threadPriority config name error (#11596) (#12015)

  • [Fix-11413] Cannot set task status to kill if the task is not in running(#11414) (#12007)

  • Clear thread name in BaseTaskProcessor (#11422) (#12008)

  • Bug Dependent downstream trigger error when schedule cycle not day. (#11987)

  • [CI] Fix cluster test abnormal (#11688) (#11985)

  • [Improvement-11380][scp-host.sh] Set StrictHostKeyChecking=no option to ssh (#11382) (#11995)

  • optimize the process instance query, change the date time range (#11719) (#11991)

  • [Fix-11051][Task]Fix the process exitValue exception when the process times out and th… (#11099) (#11983)

  • [fix-11404]: make the common.properties to configurable on values.yaml (#11441) (#11967)

  • ][fix-11452][Bug] [Logger Server] Incorrect password regular expression (#11993)

  • Remove logger header in task log file (#11555) (#11968)

  • [Bug] [API] The task priority and process instance priority might be null and cause NPE (#11969)

  • [Bug] [spark-sql] In spark-sql, select both SPARK1 and SPARK2 versions and execute /bin/spark-sql (#11971)

  • Update dolphinscheduler_ddl.sql (#11974)

  • [fix-#11815] fix ck column names contain special characters (#11973)

  • [Bug][Workflow Definition] fix ordinary users can not create depend task (#11961) (#11976)

  • [Fix-11877][UI] Fix the problem that the environment cannot be delete (#11934)

  • [fix-10938]: use dot to replace source and make the default env work in shell (#11937)

  • fix hdfs defaultFs not working (#11823) (#11936)

  • [Quartz] cron did not work as expected (#11932)

  • [Bug] [Master] WorkflowExecuteRunnable will face a infinite loop #11838 #11864 (#11949)

  • [Bug-#11650][worker] #11650 fix SQL type task, stop task does not take effect (#11938)

  • [Fix][db] fix init&upgrade mysql-meta-schema bugs #11887 (#11933)

  • Process definition length too long when copy or import #10621 (#11893)

DOC

  • [Doc] Upgrade license. (#9967)

  • [Doc] Update README. (#9970)

  • [Doc] Fix Doc deadlink in readme (#9972)

  • [Doc] Update the Document picture to new UI (#9953)

  • [Doc] Add example and notice about task type Conditions (#9945)

  • [Doc] Fix Docker link. (#9998)

  • [Doc] Add the description about execute type in SQL task (#9987)

  • [Doc] Add example and notice about task type Dependent (#10001)

  • [Doc] Correct kubernetes (#9985)

  • [Doc] Correct Doc of development-environment-setup (#9995)

  • [Bug][Document] Fix task group management Document link error (#10062)

  • [Fix-10083][Doc]Change Docker cmd && Change WebexTeams Chinese Translation (#10084)

  • [improvement-#11630]fix document about common.properties (#11653)

  • update PyDolphinScheduler documentation link. (#11474)

  • [doc] Correct E2E Doc, fix WorkerGroupPage typo (#11629)

  • Fix homepage email subscription link (#11622)

  • [DOC] should notice that need setting the full path when call the resource file #11620 (#11621)

  • [Doc][Bug] Fix resource center docs for standalone mode (#11600)

  • feat: update slack (#11578)

  • [Improvement-11550] [Doc]Document content update (#11577)

  • [Doc][Security] Update instructions on worker groups (#11483)

  • [Doc][DSIP] Move DSIP docs to the right place (#11442) (#11443)

  • [Doc][Resources] Instruct users to use local storage if they have remote storage mounted to local (#11435)

  • feat: Modifying Slack Links (#11416)

  • [python] Add multiple version of document (#11391)

  • [doc] Refine the deployment documentation (#11361)

  • [Fix-11217] [Doc] add postgresql config in doc: datasource-setting (#11326)

  • [doc] Improve the document introduction of complement (#11275)

  • [DOC] improve zk digest doc (#11703) (#11992)

  • [Doc] Remove re-upload file function in the 3.0.0's doc (#11804) (#11984)

  • [doc] Add how obtain IP address from network card in FAQ (#11311) (#11982)

  • fix doc about sub-process's child node describe (#11972)

  • [fix][doc] Update the registry related configuration in values.yaml (#11444) (#11980)

致謝 Acknowledgement

感謝所有 3.0.1 版本的貢獻者(按首字母排序),是你們的不懈努力讓社區不斷進步

106umao、Amy0104、ChrisYuan、DarkAssassinator、EricJoy2048、EricGao888、HeZean、JinyLeeChina、MonsterChenzhuo、SbloodyS、WangJPLeo、abzymeinsjtu、devosend、fengjian1129、fuchanghai、guodongym、hiSandog、huage1994、insist777、jackfanwan、jieguangzhou、labbomb、limaiwang、liqingwang、lishiyucn、luoyedeyi、rickchengx、ruanwenjun、shangeyao、sketchmind、songjianet、stalary、wendongdi、yutianaiqingtian、zhangshuocn、zhongjiajie、zhuangchong、zhuxt2015

最後非常歡迎大家加入 DolphinScheduler 大家庭,融入開源世界!

我們鼓勵任何形式的參與社區,最終成為 Committer 或 PMC,如:

  • 將遇到的問題通過 GitHub 上 issue 的形式反饋出來。

  • 回答別人遇到的 issue 問題。

  • 幫助完善文檔。

  • 幫助項目增加測試用例。

  • 為代碼添加註釋。

  • 提交修複 Bug 或者 Feature 的 PR。

  • 發表應用案例實踐、調度流程分析或者與調度相關的技術文章。

  • 幫助推廣 DolphinScheduler,參與技術大會或者 meetup 的分享等。

歡迎加入貢獻的隊伍,加入開源從提交第一個 PR 開始。

  • 比如添加代碼註釋或找到帶有 ”easy to fix” 標記或一些非常簡單的 issue(拼寫錯誤等) 等等,先通過第一個簡單的 PR 熟悉提交流程。

註:貢獻不僅僅限於 PR 哈,對促進項目發展的都是貢獻。

相信參與 DolphinScheduler,一定會讓您從開源中受益!

參與貢獻

隨著國內開源的迅猛崛起,Apache DolphinScheduler 社區迎來蓬勃發展,為了做更好用、易用的調度,真誠歡迎熱愛開源的伙伴加入到開源社區中來,為中國開源崛起獻上一份自己的力量,讓本土開源走向全球。

參與 DolphinScheduler 社區有非常多的參與貢獻的方式,包括:

貢獻第一個PR(文檔、代碼) 我們也希望是簡單的,第一個PR用於熟悉提交的流程和社區協作以及感受社區的友好度。

社區彙總了以下適合新手的問題列表:https://github.com/apache/dolphinscheduler/issues/5689

非新手問題列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A"volunteer+wanted"

如何參與貢獻鏈接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html

來吧,DolphinScheduler開源社區需要您的參與,為中國開源崛起添磚加瓦吧,哪怕只是小小的一塊瓦,匯聚起來的力量也是巨大的。

參與開源可以近距離與各路高手切磋,迅速提升自己的技能,如果您想參與貢獻,我們有個貢獻者種子孵化群,可以添加社區小助手微信(Leonard-ds) ,手把手教會您( 貢獻者不分水平高低,有問必答,關鍵是有一顆願意貢獻的心 )。

添加小助手微信時請說明想參與貢獻。

來吧,開源社區非常期待您的參與。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Linux目錄與路徑 1.絕對路徑與相對路徑 ​ 與Windows一樣,linux也有絕對路徑與相對路徑的區別: ​ Windows的絕對路徑是以某個盤為起點,如win的桌面的絕對路徑為: cd C:\Users\Administrator\Desktop ​ 而win的相對路徑,如桌面上有兩個文件 ...
  • Mac哪款觸控板手勢增強軟體好用呢?Multitouch mac是Mac平臺上一款mac觸控板手勢增強軟體,Multitouch mac版添加了各種不同的觸控板手勢,手指輕點、輕掃等就能快速進行操作,使用非常便捷。 詳情:Multitouch for Mac(觸控板手勢增強軟體) 簡單介紹 Mult ...
  • Mac上哪款策略游戲好玩?鋼鐵戰隊Iron Marines for mac推薦給大家,這是一款Mac平臺上好玩的策略游戲,該游戲的創作者同《王國保衛戰》三部曲相同,又是一款超凡的太空奇幻歷險之作。玩家將在游戲中指導你的部隊參加3個不同世界的21次任務,準備好發動英勇的攻擊,堅守陣地,拯救平民,潛入超 ...
  • 視圖和用戶許可權 1.視圖(view) 看一個需求 emp表的列信息很多,有些信息是個人重要信息(比如:sal、comm、mgr、hiredate),如果我們希望某個用戶只能查詢emp表的empno、enamel、job和deptno信息,有什麼辦法呢? 答案是使用視圖。 1.1基本原理 視圖是一個虛 ...
  • 我們偶爾需要在已有表,並且有數據的情況下,修改其某個欄位的類型或改變他的長度,但是因為表中有數據,所以不可以直接修改,需要換個思路。 -- Create table create table TABLE1 ( col1 number(9), col2 char(20) ); -- 嘗試修改 -- 修 ...
  • 在 StoneDB 1.0 版本中,InnoDB 引擎處理 OLTP 的事務型業務,Tianmu 引擎處理 OLAP 的分析型業務。因此,需要在主從複製環境的基礎上做讀寫分離,所有的寫操作和部分讀操作走 InnoDB 引擎,所有的分析類查詢走 Tianmu 引擎。讀寫分離方案既可以使用第三方中間件, ...
  • MGR 的新主選舉演算法,在節點版本一致的情況下,其實也挺簡單的。 首先比較權重,權重越高,選為新主的優先順序越高。 如果權重一致,則會進一步比較節點的 server_uuid。server_uuid 越小,選為新主的優先順序越高。 所以,在節點版本一致的情況下,會選擇權重最高,server_uuid 最 ...
  • Hadoop是Apache基金會旗下最知名的基礎架構開源項目之一。自2006年誕生以來,逐步發展成為海量數據存儲、處理最為重要的基礎組件,形成了非常豐富的技術生態。 作為國內頂尖的 Hadoop 開源生態技術峰會,第四屆 China Apache Hadoop Meetup於 2022年9月24日在 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...