Apache DolphinScheduler中ZooKeeperCDH不相容問題的解決方案

来源:https://www.cnblogs.com/DolphinScheduler/p/18019077
-Advertisement-
Play Games

背景 看到Apache DolphinScheduler社區群有很多用戶反饋和討論這塊問題,針對不相容的問題,不僅需要自己重新編譯各一個新包,而且因為預設是使用zk-3.8的配置,所以會出現不相容問題。使用zk-3.4配置即可適配3.4.x 解決辦法(一) 切換到項目源碼的根路徑中執行 mvn cl ...


背景

看到Apache DolphinScheduler社區群有很多用戶反饋和討論這塊問題,針對不相容的問題,不僅需要自己重新編譯各一個新包,而且因為預設是使用zk-3.8的配置,所以會出現不相容問題。使用zk-3.4配置即可適配3.4.x

解決辦法(一)

切換到項目源碼的根路徑中執行

mvn clean package -T 1C -Prelease '-Dmaven.test.skip=true' '-Dcheckstyle.skip=true' '-Dmaven.javadoc.skip=true' '-Dzk-3.4'

上述命令解釋

mvn clean package  依次執行了clean、resources、compile、testResources、testCompile、test、jar(打包)等7個階段。

指定多線程編譯,可以增加~

拓展

-Dmaven.compile.fork=true 表示開啟多線程
mvn -T 4 install -- will use 4 threads
mvn -T 1C install -- will use 1 thread per available CPU core
mvn clean package -T 1C -Dmaven.compile.fork=true
-Prelease 是 Maven Release Plugin 的配置

Maven中-DskipTests和-Dmaven.test.skip=true的區別

在使用mvn package進行編譯、打包時,Maven會執行src/test/java中的JUnit測試用例,有時為了編譯過程中跳過測試步驟,會使用參數-DskipTests和-Dmaven.test.skip=true,這兩個參數的主要區別是:

-DskipTests,不執行測試用例,但編譯測試用例類生成相應的class文件至target/test-classes下。
-Dmaven.test.skip=true,不執行測試用例,也不編譯測試用例類。
-D參數
如果參數不存在於 pom.xml 文件中,它將被設置。如果參數已經存在 pom.xml 文件中,其值將被作為參數傳遞的值覆蓋。

解決辦法(二)

修改源碼中的pom.xml配置文件

1、從github下載源碼

直接訪問https://github.com/,登陸之後搜索Apache DolphinScheduler!

file

在百度直接搜:

file

file

file

官網網址:
https://github.com/apache/dolphinscheduler

選擇 release版本
file

file

2、將下載好的zip包解壓出來,並導入IDEA工具中

file

file

3、修改maven和jdk配置

file

file

4、MVN命令操作

根目錄執行

mvn clean package -T 1C -Prelease '-Dmaven.test.skip=true' '-Dcheckstyle.skip=true' '-Dmaven.javadoc.skip=true' '-Dzk-3.4'

報錯如下

Failed to execute goal com.diffplug.spotless:spotless-maven-plugin:2.27.2:check (default) on project dolphinscheduler: The following files had format violations:

file

這個是問題沒有因為沒有格式化代碼,所以在校驗的時候不通過

根據上面的提示只需要執行下命令:mvn spotless:apply 就可以了

file

隨後會刷屏,過一會就會出現如下圖,完事了

file

再次根目錄執行

mvn clean package -T 1C -Prelease '-Dmaven.test.skip=true' '-Dcheckstyle.skip=true' '-Dmaven.javadoc.skip=true' '-Dzk-3.4'

報錯如下

file

從提示中可以看出來,com.github.eirslett:frontend-maven-plugin這個插件有問題

首先看看本地的maven倉庫中,有沒有把這個插件通過依賴下載出來

file

d:\IdeaProjects\dolphinscheduler-3.2.0-release\dolphinscheduler-ui\pom.xml文件中

標簽全都刪除掉,防止構建時用npm的方式下載插件。

file

再次根目錄執行

mvn clean package -T 1C -Prelease '-Dmaven.test.skip=true' '-Dcheckstyle.skip=true' '-Dmaven.javadoc.skip=true' '-Dzk-3.4'

file

可以看到,已經編譯成功了。找到打好包生成的目標文件,位置是:項目源碼目錄\dolphinscheduler-dist\target

我的位置是 D:\IdeaProjects\dolphinscheduler-3.2.0-release\dolphinscheduler-dist\target

file

5、修改源碼中的依賴配置

我不知道配置文件的指定的位置,在IDEA開發工具中按ctrl+shift+f組合鍵, 在項目所有文件中搜索:zookeeper.version

file

d:\\IdeaProjects\\dolphinscheduler-3.2.0-release\\dolphinscheduler-bom\\pom.xml文件中找到

file

修改一下源碼,修改後如下圖所示

file

根目錄執行

mvn clean package -T 1C -Prelease '-Dmaven.test.skip=true' '-Dcheckstyle.skip=true' '-Dmaven.javadoc.skip=true'

file

可以看到,已經編譯成功了。希望本文能幫助更多用戶解決問題,如果您對這個話題感興趣,歡迎來社區交流!

本文由 白鯨開源 提供發佈支持!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Linux 命令基礎 命令基礎格式 command [-options] [parameter] command:命令本身 -options:[可選,非必填]命令的一些選項,可以通過選項控制命令的行為細節 parameter:[可選,非必填]命令的參數,多數用於命令的指向目標等 示例: ls -l ...
  • 前言: 如果你想在 VMware 虛擬機裡面多開玩游戲的話,但是現在大多數網游都會檢測是否虛擬機,進入游戲被檢測到在虛擬機中運行,游戲可能直接閃退。所以就得對 VMware 虛擬機進行去除虛擬化。 原理就是通過十六進位工具對 VMware 虛擬機程式進行修改硬體的信息,分別把硬碟、音效卡、網卡、主板芯 ...
  • GaussDB(for MySQL) Serverless集群,可根據客戶業務實時負載,集群資源秒級動態彈降,結合內核深度優化,在各種場景下做到對上層業務透明無感。 ...
  • 前言: 大數據領域對多種任務都有調度需求,以離線數倉的任務應用最多,許多團隊在調研開源產品後,選擇Apache DolphinScheduler(以下簡稱DS)作為調度場景的技術選型。得益於DS優秀的特性,在對數倉任務做運維和管理的時候,往往比較隨意,或將所有任務節點寫到一個工作流里,或將每個邏輯節 ...
  • 02 SQL更新語句執行流程 與查詢流程不一樣的是,更新流程還涉及兩個重要的日誌模塊。 ​ redo log(重做日誌)和 binlog(歸檔日誌) ​ redo log 物理日誌 binlog 邏輯日誌 redo log WAL 的全稱是 Write-Ahead Logging。 關鍵點就是先寫日 ...
  • 前言: 記錄對林曉斌老師的《MySQL 實戰 45 講》課程學習路程。 01 MySQL的基本架構 MySQL的邏輯架構圖 MySQL 分為 Server 層和存儲引擎層兩部分。 Server 層 功能:實現所有 跨存儲引擎 的功能,比如存儲過程、觸發器、視圖等。 連接器、查詢緩存、分析器、優化器、 ...
  • 本文詳細介紹了stream連接池及其原理,讓我們更好的理解GaussDB(DWS)集群通信中數據交互的具體邏輯,對於GaussDB通信運維也具備一定的參考意義。 ...
  • docker安裝mysql docker倉庫搜索mysql docker search mysql docker倉庫拉取mysql8.0 docker pull mysql:8.0 // 預設拉取最新版本 docker pull mysql 查看本地倉庫鏡像是否下載成功 docker images ...
一周排行
    -Advertisement-
    Play Games
  • 最近做項目過程中,使用到了海康相機,官方只提供了C/C++的SDK,沒有搜尋到一個合適的封裝了的C#庫,故自己動手,簡單的封裝了一下,方便大家也方便自己使用和二次開發 ...
  • 前言 MediatR 是 .NET 下的一個實現消息傳遞的庫,輕量級、簡潔高效,用於實現進程內的消息傳遞機制。它基於中介者設計模式,支持請求/響應、命令、查詢、通知和事件等多種消息傳遞模式。通過泛型支持,MediatR 可以智能地調度不同類型的消息,非常適合用於領域事件處理。 在本文中,將通過一個簡 ...
  • 前言 今天給大家推薦一個超實用的開源項目《.NET 7 + Vue 許可權管理系統 小白快速上手》,DncZeus的願景就是做一個.NET 領域小白也能上手的簡易、通用的後臺許可權管理模板系統基礎框架。 不管你是技術小白還是技術大佬或者是不懂前端Vue 的新手,這個項目可以快速上手讓我們從0到1,搭建自 ...
  • 第1章:WPF概述 本章目標 瞭解Windows圖形演化 瞭解WPF高級API 瞭解解析度無關性概念 瞭解WPF體繫結構 瞭解WPF 4.5 WPF概述 ​ 歡迎使用 Windows Presentation Foundation (WPF) 桌面指南,這是一個與解析度無關的 UI 框架,使用基於矢 ...
  • 在日常開發中,並不是所有的功能都是用戶可見的,還在一些背後默默支持的程式,這些程式通常以服務的形式出現,統稱為輔助角色服務。今天以一個簡單的小例子,簡述基於.NET開發輔助角色服務的相關內容,僅供學習分享使用,如有不足之處,還請指正。 ...
  • 第3章:佈局 本章目標 理解佈局的原則 理解佈局的過程 理解佈局的容器 掌握各類佈局容器的運用 理解 WPF 中的佈局 WPF 佈局原則 ​ WPF 視窗只能包含單個元素。為在WPF 視窗中放置多個元素並創建更貼近實用的用戶男面,需要在視窗上放置一個容器,然後在這個容器中添加其他元素。造成這一限制的 ...
  • 前言 在平時項目開發中,定時任務調度是一項重要的功能,廣泛應用於後臺作業、計劃任務和自動化腳本等模塊。 FreeScheduler 是一款輕量級且功能強大的定時任務調度庫,它支持臨時的延時任務和重覆迴圈任務(可持久化),能夠按秒、每天/每周/每月固定時間或自定義間隔執行(CRON 表達式)。 此外 ...
  • 目錄Blazor 組件基礎路由導航參數組件參數路由參數生命周期事件狀態更改組件事件 Blazor 組件 基礎 新建一個項目命名為 MyComponents ,項目模板的交互類型選 Auto ,其它保持預設選項: 客戶端組件 (Auto/WebAssembly): 最終解決方案裡面會有兩個項目:伺服器 ...
  • 先看一下效果吧: isChecked = false 的時候的效果 isChecked = true 的時候的效果 然後我們來實現一下這個效果吧 第一步:創建一個空的wpf項目; 第二步:在項目裡面添加一個checkbox <Grid> <CheckBox HorizontalAlignment=" ...
  • 在編寫上位機軟體時,需要經常處理命令拼接與其他設備進行通信,通常對不同的命令封裝成不同的方法,擴展稍許麻煩。 本次擬以特性方式實現,以兼顧維護性與擴展性。 思想: 一種命令對應一個類,其類中的各個屬性對應各個命令段,通過特性的方式,實現其在這包數據命令中的位置、大端或小端及其轉換為對應的目標類型; ...