Apache DolphinScheduler-3.2.0集群部署教程

来源:https://www.cnblogs.com/DolphinScheduler/p/18066148
-Advertisement-
Play Games

集群部署方案(2 Master + 3 Worker) Apache DolphinScheduler官網：https://dolphinscheduler.apache.org/zh-cn Apache DolphinScheduler使用文檔：https://dolphinscheduler.a ...


集群部署方案(2 Master + 3 Worker)

主機名 ip 部署服務
hadoop31 192.168.0.31 MasterServer、WorkerServer、ApiServer
hadoop32 192.168.0.32 MasterServer、WorkerServer
hadoop33 192.168.0.33 WorkerServer、AlertServer

前置準備工作

  • 操作系統：Linux CentOS 7.9 【CPU 4核+ 記憶體8G+】
  • JDK：下載JDK（1.8+），安裝並配置 JAVA_HOME 環境變數，並將其下的 bin 目錄追加到 PATH 環境變數中。
  • 資料庫：MySQL（5.7+）或者 PostgreSQL（8.2.15+），兩者任選其一即可，如 MySQL 則需要JDBC Driver 8.0.16 版本。【此處使用MySQL 8.2.0，驅動使用的是：mysql-connector-j-8.2.0.jar】
  • 註冊中心：Zookeeper（3.8.0+），集群模式，【此處使用 3.8.3 版本】
  • 二進位包：下載地址 https://www.apache.org/dyn/closer.lua/dolphinscheduler/3.2.0/apache-dolphinscheduler-3.2.0-bin.tar.gz
  • 註意：Apache DolphinScheduler 本身不依賴 Hadoop、Hive、Spark，但如果你運行的任務需要依賴他們，就需要有對應的環境支持。

埠說明

組件 預設埠 說明
MasterServer 5678 非通信埠，只需本機埠不衝突即可
WorkerServer 1234 非通信埠，只需本機埠不衝突即可
ApiApplicationServer 12345 提供後端通信埠

集群部署

時間同步

服務端：192.168.0.31 客戶端：192.168.0.32、192.168.0.33，服務端在31執行，客戶端在32、33執行

# 服務端和客戶端，安裝chrony
yum install chrony -y

# 服務端和客戶端，安裝chrony
yum install chrony -y

# 服務端（此處也可以使用 ntp.aliyun.com 來代替 192.168.0.31，使用阿裡雲時間服務，如果使用31則是本機時間）
cat > /etc/chrony.conf << EOF 
pool 192.168.0.31 iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
rtcsync
allow 192.168.0.0/24
local stratum 10
keyfile /etc/chrony.keys
leapsectz right/UTC
logdir /var/log/chrony
EOF

# 客戶端
cat > /etc/chrony.conf << EOF 
pool 192.168.0.31 iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
rtcsync
keyfile /etc/chrony.keys
leapsectz right/UTC
logdir /var/log/chrony
EOF

# 客服端和服務端，重啟chrony，開機自啟動
systemctl restart chronyd
systemctl enable chronyd

#客戶端進行驗證
chronyc sources -v

# 參數解釋
#
# pool ntp.aliyun.com iburst
# 指定使用ntp.aliyun.com作為時間伺服器池，iburst選項表示在初始同步時會發送多個請求以加快同步速度。
# 
# driftfile /var/lib/chrony/drift
# 指定用於保存時鐘漂移信息的文件路徑。
# 
# makestep 1.0 3
# 設置當系統時間與伺服器時間偏差大於1秒時，會以1秒的步長進行調整。如果偏差超過3秒，則立即進行時間調整。
# 
# rtcsync
# 啟用硬體時鐘同步功能，可以提高時鐘的準確性。
# 
# allow 192.168.0.0/24
# 允許192.168.0.0/24網段範圍內的主機與chrony進行時間同步。
# 
# local stratum 10
# 將本地時鐘設為stratum 10，stratum值表示時鐘的準確度，值越小表示準確度越高。
# 
# keyfile /etc/chrony.keys
# 指定使用的密鑰文件路徑，用於對時間同步進行身份驗證。
# 
# leapsectz right/UTC
# 指定時區為UTC。
# 
# logdir /var/log/chrony
# 指定日誌文件存放目錄。

配置用戶、許可權

# 創建用戶需使用 root 登錄
useradd dolphinscheduler

# 添加密碼
echo "dolphinscheduler" | passwd --stdin dolphinscheduler

# 配置 sudo 免密
sed -i '$adolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers

# 修改目錄許可權，使得部署用戶對二進位包解壓後的 apache-dolphinscheduler-*-bin 目錄有操作許可權
chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin
chmod -R 755 apache-dolphinscheduler-*-bin

配置集群免密登陸

# 使用創建的 dolphinscheduler 登陸，配置hadoop31到hadoop32、hadoop33免密登陸
su dolphinscheduler

# hadoop31節點，生成密鑰
ssh-keygen -t rsa

# hadoop31節點操作，配置向hadoop31、hadoop32、hadoop33節點免密
ssh-copy-id hadoop31
ssh-copy-id hadoop32
ssh-copy-id hadoop33

ZooKeeper集群啟動

集群安裝，參考教程：ZooKeeper集群的安裝，本文安裝 ZK 版本為 3.8.3。參考教程中是 3.4.14，安裝步驟都是一樣兒的，對應著來就可以了。

# 啟動zk集群
bin/zkServer.sh start

初始化資料庫

此處以 MySQL 為例

創建資料庫、用戶、授權

-- 進入MySQL命令行
[root@hadoop01]# mysql -u root -p 
Enter password: xxxxxx
-- 創建 dolphinscheduler 資料庫用戶和密碼，並限定登陸範圍
mysql > CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
-- 創建 dolphinscheduler 的元數據，並指定編碼
mysql > CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
-- 為dolphinscheduler資料庫授權
mysql > grant all privileges on dolphinscheduler.* to 'dolphinscheduler'@'%';
-- 刷新許可權
mysql > flush privileges;

解壓縮安裝包

# 將apache-dolphinscheduler-3.2.0-bin.tar.gz上傳至/opt/targz目錄下

# 解壓
[root@hadoop31 targz]# tar zxvf ./apache-dolphinscheduler-3.2.0-bin.tar.gz

# 修改目錄許可權，使得部署用戶對解壓縮後的文件有操作許可權
[root@hadoop31 targz]# chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-3.2.0-bin

添加MySQL驅動至libs目錄

​ 此處使用 MySQL 8.2.0版本，對應使用 JDBC 驅動為 mysql-connector-j-8.2.0.jar，將該驅動移動至 DolphinScheduler 的每個模塊下的 libs 目錄下。共5個目錄：

  • api-server/libs
  • alert-server/libs
  • master-server/libs
  • worker-server/libs
  • tools/libs

配置文件修改

dolphinscheduler_env.sh 配置

# 修改dolphinscheduler_env.sh
vim apache-dolphinscheduler-3.2.0-bin/bin/env/dolphinscheduler_env.sh

# 在文末添加以下配置：
# JAVA_HOME, will use it to start DolphinScheduler server
# JDK配置
export JAVA_HOME=${JAVA_HOME:-/opt/soft/jdk8}

# Database related configuration, set database type, username and password
# MySQL資料庫配置
export DATABASE=${DATABASE:-mysql}
export SPRING_PROFILES_ACTIVE=${DATABASE}
export SPRING_DATASOURCE_URL="jdbc:mysql://192.168.17.28:3307/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false"
export SPRING_DATASOURCE_USERNAME=${SPRING_DATASOURCE_USERNAME:-"dolphinscheduler"}
export SPRING_DATASOURCE_PASSWORD=${SPRING_DATASOURCE_PASSWORD:-"dolphinscheduler"}

# DolphinScheduler server related configuration
export SPRING_CACHE_TYPE=${SPRING_CACHE_TYPE:-none}
export SPRING_JACKSON_TIME_ZONE=${SPRING_JACKSON_TIME_ZONE:-UTC}
export MASTER_FETCH_COMMAND_NUM=${MASTER_FETCH_COMMAND_NUM:-10}

# Registry center configuration, determines the type and link of the registry center
# zk註冊中心
export REGISTRY_TYPE=${REGISTRY_TYPE:-zookeeper}
export REGISTRY_ZOOKEEPER_CONNECT_STRING=${REGISTRY_ZOOKEEPER_CONNECT_STRING:-hadoop31:2181,hadoop32:2181,hadoop33:2181}

# Tasks related configurations, need to change the configuration if you use the related tasks.
# 其他環境配置(此處只配置了hadoop、hive，其他環境未部署)
# 如果你不使用某些任務類型，可以忽略不做配置，使用預設即可。比如Flink不使用，不做處理即可
export HADOOP_HOME=${HADOOP_HOME:-/opt/soft/hadoop-3.3.6}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/opt/soft/hadoop-3.3.6/etc/hadoop}
export SPARK_HOME=${SPARK_HOME:-/opt/soft/spark}
export PYTHON_LAUNCHER=${PYTHON_LAUNCHER:-/opt/soft/python}
export HIVE_HOME=${HIVE_HOME:-/opt/soft/hive-3.1.3}
export FLINK_HOME=${FLINK_HOME:-/opt/soft/flink}
export DATAX_LAUNCHER=${DATAX_LAUNCHER:-/opt/soft/datax/bin/python3}

export PATH=$HADOOP_HOME/bin:$SPARK_HOME/bin:$PYTHON_LAUNCHER:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_LAUNCHER:$PATH

install_env.sh文件修改

# 修改install_env.sh
vim apache-dolphinscheduler-3.2.0-bin/bin/env/install_env.sh

# 按照集群部署方案，內容如下：

# 集群節點
ips=${ips:-"hadoop31,hadoop32,hadoop33"}

# ssh免密埠,使用預設
sshPort=${sshPort:-"22"}

# master節點
masters=${masters:-"hadoop31,hadoop32"}

# worker節點
workers=${workers:-"hadoop31:default,hadoop32:default,hadoop33:default"}

# alert節點
alertServer=${alertServer:-"hadoop33"}

# api節點
apiServers=${apiServers:-"hadoop31"}

# dolphinscheduler實際安裝路徑
installPath=${installPath:-"/opt/soft/dolphinscheduler-3.2.0"}

# 部署dolphinscheduler使用的用戶名
deployUser=${deployUser:-"dolphinscheduler"}

# zk根節點
zkRoot=${zkRoot:-"/dolphinscheduler"}

初始化元數據

# 切換到apache-dolphinscheduler-3.2.0-bin目錄下，執行命令
[root@hadoop31 apache-dolphinscheduler-3.2.0-bin]# sh ./tools/bin/upgrade-schema.sh

# 此操作，會向MySQL資料庫寫入元數據，共計65張表，如圖所示：

file

安裝Apache DolphinScheduler

# 執行install.sh部署命令
[root@hadoop31 apache-dolphinscheduler-3.2.0-bin]# ./bin/install.sh 

# 當看到下圖時，說明 DS 安裝完成

file

提示：

安裝完成後，此時安裝用到的 apache-dolphinscheduler-3.2.0-bin 文件就沒用了。

此時，已經將 Apache DolphinScheduler 安裝到配置中指定的 /opt/soft/dolphinscheduler-3.2.0 目錄下了

登錄Apache DolphinScheduler 控制台

訪問地址：http://192.168.0.31:12345/dolphinscheduler/ui/

用戶名：admin

密碼：dolphinscheduler123

file

查看監控中心Master/Worker節點信息

1.Master節點

file

2.Worker節點

file

啟動/停止服務命令

第一次安裝後，會自動啟動所有服務。如有服務問題或者後續需要啟停，命令如下。以下腳本都在 DolphinScheduler安裝目錄的bin下

# 一鍵停止集群所有服務
sh /opt/soft/dolphinscheduler-3.2.0/bin/stop-all.sh

# 一鍵啟動集群所有服務
sh /opt/soft/dolphinscheduler-3.2.0/bin/start-all.sh

# 啟/停 master 服務
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh start master-server 
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh stop master-server 

# 啟/停 worker 服務
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh start worker-server 
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh stop worker-server 

# 啟/停 api 服務
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh start api-server 
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh stop api-server 

# 啟/停 alert 服務
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh start alert-server 
sh /opt/soft/dolphinscheduler-3.2.0/bin/dolphinscheduler-daemon.sh stop alert-server

本文結束，謝謝!

本文由 白鯨開源 提供發佈支持！


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 關於Sed命令隨筆
    1.Sed 工作流程 首先sed把當前正在處理的行保存在一個臨時緩存區中（也稱為模式空間），然後處理臨時緩衝區中的 行，完成後把該行發送到屏幕上。 sed把每一行都存在臨時緩衝區中，對這個副本進行編輯，所以不會修改原文件。 Sed主要用來自動編輯一個或多個文件；簡化對文件的反覆操作；編寫轉換程式等。 ...
  • VMware安裝CentOS7操作系統超詳細圖文教程
    目錄一.下載鏡像二.鏡像安裝三.繼續進行虛擬機設置四.虛擬機啟動設置一些供參考的視頻教程 一.下載鏡像 官網鏡像下載地址(需要開梯) 清華大學鏡像站地址 二.鏡像安裝 三.繼續進行虛擬機設置 四.虛擬機啟動設置 點擊虛擬機後滑鼠就不會出VMare,想要滑鼠返回個人的電腦，則按下Ctrl+Alt 一 ...
  • STM32F103xC,xD,xE引腳定義
    STM32F103xC,xD,xE引腳定義 由於在使用STM32系列晶元過程中發現互聯網沒有整理好的引腳定義，因此自己整理一份，方便以後查閱。 GPIOA Pin 重新上電時的功能 預設功能 重映射 PA0 PA0 WKUP/USART2_CTS/ADC123_IN0/TIM2_CH1_ETR/TI ...
  • STM32標準庫通用定時器PWM生成
    STM32標準庫通用定時器PWM生成 1. 初始化 void TIM2_Init() // 定時器2初始化 { RCC_APB1PeriphClockCmd(RCC_APB1Periph_TIM2,ENABLE); // 使能定時器2的時鐘 RCC_APB2PeriphClockCmd(RCC_AP ...
  • Ansible 基礎入門
    Ansible 是一種自動化運維工具，基於 Paramiko 開發的，並且基於模塊化工作，Ansible 是一種集成 IT 系統的配置管理、應用部署、執行特定任務的開源平臺，它是基於 Python 語言，由 Paramiko 和 PyYAML 兩個關鍵模塊構建。集合了眾多運維工具的優點，實現了批量系... ...
  • 配置Tomcat伺服器
    一：修改伺服器埠 訪問tomcat主頁的時候，輸入的是localhost:8080，說明tomcat的埠是8080，那麼怎麼修改埠號呢？ 我們要先認識配置文件 用瀏覽器打開tomcat下conf子目錄server.xml 這一句的意思是通過8005埠發送大寫的“SHUTDOWN”，會關閉服務 ...
  • 【VMware ESXi】如何在獨立的ESXi主機上配置vTPM並安裝Windows 11操作系統。
    根據微軟發佈的Windows 11操作系統要求，這個版本的系統需要硬體支持受信任的平臺模塊 (TPM) 才能進行安裝和使用，不然就會提示你“這臺電腦無法運行Windows11。這臺電腦不符合安裝此版本的Windows所需的最低系統要求。有關詳細信息，請訪問https://aka.ms/Windows ...
  • nginx proxy_set_header詳解
    proxy_set_header 是 Nginx 配置中的一個重要指令，特別是在使用 Nginx 作為反向代理時。該指令允許你修改由 Nginx 傳遞給代理後端的請求頭。這對於確保後端應用程式能夠接收到正確的客戶端信息（如 IP 地址、主機名等）以及控制緩存行為等場景非常有用。 以下是 proxy_ ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類