如何在Windows上搭建並運行DolphinScheduler前後端開發環境

来源:https://www.cnblogs.com/DolphinScheduler/p/18407903
-Advertisement-
Play Games

作者:海豚調度研究隨筆 編輯整理:曾輝 前言 Apache DolphinScheduler 是一個優秀的分散式調度系統,廣泛應用於大數據處理和自動化任務管理中。本文詳細介紹瞭如何在Windows環境下搭建Apache DolphinScheduler的前後端開發環境。 包括從源碼的下載、環境配置、 ...


作者:海豚調度研究隨筆
編輯整理:曾輝

前言

Apache DolphinScheduler 是一個優秀的分散式調度系統,廣泛應用於大數據處理和自動化任務管理中。本文詳細介紹瞭如何在Windows環境下搭建Apache DolphinScheduler的前後端開發環境。

包括從源碼的下載、環境配置、資料庫初始化、依賴安裝等具體步驟,幫助開發者在本地快速搭建並運行DolphinScheduler,適用於新手開發者和有一定經驗的技術人員。

相關鏈接

一、環境準備

1. 下載源碼

首先,前往 DolphinScheduler官網 下載 dolphinscheduler-3.1.9-release.zip 源碼壓縮包,並將其移動到你的IDEA工作目錄中。接著,使用IDEA工具解壓並打開該項目。你將看到如下界面:

2. 修改IDEA項目配置

找到 .idea 文件夾下的 workspace.xml 文件,打開併進行如下修改:

<component name="PropertiesComponent"> 下增加一行<property name="dynamic.classpath" value="true"

打開dolphinscheduler-bom模塊的pom文件,將MySQL和Oracle的依賴中的<scope>test</scope>註釋掉,右上角的Maven要記得點擊進行更新。

這將動態調整項目的類路徑配置,確保IDEA能夠正常載入所需的依賴包。

二、資料庫配置

創建DolphinScheduler資料庫

在MySQL中創建 dolphinscheduler 資料庫,並執行提供的SQL腳本進行資料庫初始化。

配置 application.yaml

打開 dolphinscheduler-api 模塊的 application.yaml 文件,修改以下配置:

  • 時區(time-zone):根據需要調整。
  • MySQL 連接信息:填寫資料庫連接的URL、用戶名和密碼。
  • Zookeeper配置:根據你的Zookeeper集群配置進行調整。

如果IDEA提示缺少MySQL JDBC驅動,可以點擊紅燈泡提示進行自動載入。

確認Quartz調度的JDBC Delegate類為 org.quartz.impl.jdbcjobstore.StdJDBCDelegate

本地Zookeeper配置

如果Zookeeper在本地運行且已正確安裝,則無需修改Zookeeper相關配置。否則,需要根據你的Zookeeper集群環境進行調整。

三、模塊配置

配置 dolphinscheduler-master 模塊

dolphinscheduler-master 模塊中,打開 application.yaml 文件,確保MySQL、Zookeeper的相關參數配置正確,並根據你的需求調整時區配置。

配置 dolphinscheduler-worker 模塊

類似於 Master 模塊,在 dolphinscheduler-worker 模塊的 application.yaml 中,同樣需要更新MySQL、Zookeeper和時區等相關配置。

配置 dolphinscheduler-alert 模塊

打開 dolphinscheduler-alert 模塊的 application.yaml 文件,修改MySQL的連接信息和時區配置,確保警報模塊能夠正確連接到資料庫。

修改 dolphinscheduler-ui 模塊的 package.json
為了避免版本衝突,打開 dolphinscheduler-ui 模塊的 package.json 文件,去除所有 ^ 符號。

四、啟動後端服務

確保你的MySQL資料庫和Zookeeper集群已正常啟動,依次啟動以下後端服務:

  • ApiApplicationServer
  • MasterServer
  • WorkerServer
  • AlertServer

啟動成功後,打開瀏覽器訪問API服務的Swagger文檔,確認服務是否正常運行:http://localhost:12345/dolphinscheduler/swagger-ui/index.html#/

五、搭建前端開發環境

  1. 安裝Node.js和Pnpm
    Apache DolphinScheduler的前端依賴於Node.js和Pnpm。

請根據以下鏈接下載並安裝:

  1. 安裝前端依賴並啟動
    進入 dolphinscheduler-ui 目錄,進入cmd命令行視窗後運行pnpm install,安裝後會在目錄下生成node_modules目錄,然後運行pnpm run dev即可。

在瀏覽器中訪問http://localhost:5173,使用預設賬號密碼 admin/dolphinscheduler123 登錄系統,開始使用Apache DolphinScheduler。

結語

通過本教程,你已經成功在Windows系統上搭建並運行了DolphinScheduler的前後端開發環境。這為開發者提供了一個完整的本地開發調試環境,使得對DolphinScheduler的進一步開發和測試更加高效。

希望本文能夠幫助你順利搭建環境,並推動你在DolphinScheduler開發上的進展。如果遇到問題,歡迎參考官方文檔或社區支持。

本文由 白鯨開源 提供發佈支持!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 《數據資產管理核心技術與應用》是清華大學出版社出版的一本圖書,作者為張永清等著,在2024.9.11號晚上20:00,本書作者張永清聯合鋒哥聊數倉公眾號和清華大學出版社一起,向各大大數據技術愛好者通過三輪互動活動贈送了3本正版圖書。 《數據資產管理核心技術與應用》深入探討數據資產管理的核心技術與應用 ...
  • SQL Server 中的 NUL 設備/NIL設備 在 SQL Server 中,有一個特殊的設備叫做 NUL(註意,不是 NULL),它類似於文件系統中的“黑洞”。NUL 設備類似於 Linux 系統中的 /dev/null,所有寫入到 NUL 的數據都會被直接丟棄。 我們可以利用這個特性,在不 ...
  • Apache SeaTunnel 作為一個開源的數據集成工具,旨在簡化和加速海量數據的採集和傳輸。 社區的 Committer 是指擁有項目存儲庫的寫許可權的社區成員,即 Committer 可以自行修改代碼、文檔和網站,也可以合併其他成員的貢獻。成為 Apache SeaTunnel Committ ...
  • Percona Toolkit 神器全攻略(性能類) Percona Toolkit 神器全攻略系列共八篇,前文回顧: 前文回顧 Percona Toolkit 神器全攻略 Percona Toolkit 神器全攻略(實用類) Percona Toolkit 神器全攻略(配置類) Percona T ...
  • 本文介紹如何通過模型服務靈積DashScope將 圖片轉換為向量 ,併入庫至向量檢索服務DashVector中進行向量檢索。 模型服務靈積DashScope,通過靈活、易用的模型API服務,讓各種模態模型的能力,都能方便的為AI開發者所用。通過靈積API,開發者不僅可以直接集成大模型的強大能力,也可 ...
  • 近日,第15屆中國資料庫技術大會(DTCC2024)在北京召開。大會以“自研創新 數智未來”為主題,重點圍繞向量資料庫與向量檢索技術實踐、數據治理與數據資產管理、雲原生資料庫開發與實踐、特定場景下的資料庫管理與優化、大數據平臺建設等內容展開分享和探討。 ...
  • 數據資產入表即數據資產會計核算,指的是把有價值的數據編製進資產負債表,作為企業沉澱的無形資產,讓數據要素的交易流通變得合規,數據價值可計算。 2023年8月21日,財政部發佈《企業數據資源相關會計處理暫行規定》,並於2024年1月1日開始實施,首次將數據資源納入企業會計核算體系,明確了數據資產入表的 ...
  • 引言 作為一名軟體行業的從業者,我已經在開源社區Remote工作了兩年時間。“技術運營” 是一個相對小眾的職業,所以如果你在這個行業工作,卻找不到自己熱情所在或擅長的事情,可能會感覺缺乏價值感(這一點我老闆也很認同)。 然而,如果你願意為自己的情懷買單,並全心投入其中,這確實是一件偉大的事情。 我並 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...