Apache DolphinScheduler已支持Apache SeaTunnel任務類型，本文介紹了SeaTunnel任務類型如何創建，任務參數，以及任務樣例。 一、Apache SeaTunnel SeaTunnel 任務類型，用於創建並執行 SeaTunnel 類型任務。worker 執行該 ...
Apache DolphinScheduler已支持Apache SeaTunnel任務類型，本文介紹了SeaTunnel任務類型如何創建，任務參數，以及任務樣例。
一、Apache SeaTunnel
SeaTunnel 任務類型，用於創建並執行 SeaTunnel 類型任務。worker 執行該任務的時候，會通過 start-seatunnel-spark.sh 、 start-seatunnel-flink.sh 和 seatunnel.sh 命令解析 config 文件。
二、創建任務
- 點擊項目管理 -> 項目名稱 -> 工作流定義，點擊“創建工作流”按鈕，進入 DAG 編輯頁面；
- 拖動工具欄的 任務節點到畫板中。
三、任務參數
- 啟動腳本：選擇你想要運行任務的啟動腳本，包括
seatunnel.sh, start-seatunnel-flink-13-connector-v2.sh, start-seatunnel-flink-15-connector-v2.sh, start-seatunnel-flink-connector-v2.sh, start-seatunnel-flink.sh, start-seatunnel-spark-2-connector-v2.sh, start-seatunnel-spark-3-connector-v2.sh, start-seatunnel-spark-connector-v2.sh, start-seatunnel-spark.sh - FLINK
- 運行模型：支持 run 和 run-application 兩種模式
- 選項參數：用於添加 Flink 引擎本身參數，例如 -m yarn-cluster -ynm seatunnel
- SPARK
- 部署方式：指定部署模式，cluster client
- Master：指定 Master 模型，yarn local spark mesos，其中 spark 和 mesos 需要指定 Master 服務地址，例如：127.0.0.1:7077
- SEATUNNEL_ENGINE
- 部署方式：指定部署模式，cluster local
- 自定義配置：支持自定義配置或從資源中心選擇配置文件
- 腳本：在任務節點那自定義配置信息，包括四部分：env source transform sink
四、任務樣例
該樣例演示為使用 Flink 引擎從 Fake 源讀取數據列印到控制台。
1.在 DolphinScheduler 中配置 SeaTunnel 環境
若生產環境中要是使用到 SeaTunnel 任務類型，則需要先配置好所需的環境，配置文件如下：/dolphinscheduler/conf/env/dolphinscheduler_env.sh。
2.配置 SeaTunnel 任務節點
根據上述參數說明，配置所需的內容即可。
Config 樣例
env {
execution.parallelism = 1
}
source {
FakeSource {
result_table_name = "fake"
field_name = "name,age"
}
}
transform {
sql {
sql = "select name,age from fake"
}
}
sink {
ConsoleSink {}
}
————————————————
版權聲明：本文為博主原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接和本聲明。
原文鏈接：https://blog.csdn.net/zhengzaifeidelushang/article/details/136685864
本文由 白鯨開源 提供發佈支持！
