保姆級教程!玩轉 ChunJun 詳細指南

来源:https://www.cnblogs.com/DTinsight/archive/2023/03/24/17250900.html
-Advertisement-
Play Games

ChunJun 是一款穩定、易用、高效、批流一體的數據集成框架,⽀持海量數據的同步與計算。ChunJun 既可以採集靜態的數據,比如 MySQL,HDFS 等,也可以採集實時變化的數據,比如 binlog,Kafka 等。同時 ChunJun 也是一個支持原生 FlinkSQL 所有語法和特性的計算 ...


ChunJun 是一款穩定、易用、高效、批流一體的數據集成框架,⽀持海量數據的同步與計算。ChunJun 既可以採集靜態的數據,比如 MySQL,HDFS 等,也可以採集實時變化的數據,比如 binlog,Kafka 等。同時 ChunJun 也是一個支持原生 FlinkSQL 所有語法和特性的計算框架。

經過5年的迭代和開發,ChunJun 已經幫助很多公司快速進行數據整合,並解決數據開發人員需要過多進行繁瑣的數據抽取工作的問題,可以專註在企業業務場景的構建。

之前的內容當中,我們已經介紹過 ChunJun 的技術力、優勢,及如何提交 pr、Issue 的方法。作為「chunJun 新手入門」系列的第三篇,本文將為大家介紹如何配置一個 ChunJun 任務以及通過 ChunJun Client 端提交任務的流程等內容,教會大家更好地玩轉 ChunJun。

ChunJun 新手入門

Hi,我是ChunJun,一個有趣好用的開源項目

Ding!您有一份ChunJun實用指南,請查收

ChunJun 地址

官網:

https://dtstack.github.io/chunjun/

GitHub:

https://github.com/DTStack/chunjun

Gitee:

https://gitee.com/dtstack_dev_0/chunjun

配置一個 ChunJun 任務

ChunJun 的任務腳本⽀持兩種模式:Sync(Json) 和 SQL,前者配置更加豐富,底層使⽤的是 StreamAPI,在同步場景使⽤的較多;後者藉助 Flink SQL 本身的能⼒,利⽤ SQL 實現對數據的聚合等計算操作,底層使⽤的是 TableAPI。

Sync

同步任務使⽤的 Json 格式的配置⽂件,通過配置 Source/Sink 來完成數據的 EL 流程。⼀個同步任務的基本結構如下:

{
"job": {
"content": [
{
"nameMapping": {},
"reader": {
"parameter": {},
"name": "reader"
},
"writer": {
"parameter": {},
"name": "writer"
},
"restoration": {
"cache": {
"properties": {}
},
"workerMax": 3,
"workerSize": 3,
"workerNum": 2,
"ddl": {
"properties": {}
}
}
}
],
"setting": {
"restore": {},

● Job 整個任務的參數配置

1)同步任務的算⼦配置,如 Reader/Writer/Restoration 等。

• nameMapping:表名映射配置,⽤在 CDC 場景

• reader:同步任務 reader 的配置

• writer:同步任務writer的配置

• restoration:數據還原相關配置

2)setting 系統的⼀些參數配置,如增量同步(restore)、流控(speed)等。

SQL

ChunJun 的 SQL 任務直接沿⽤了 FlinkSQL 的引擎。詳細⽂檔請看:

https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/overview/

● DDL

CREATE TABLE xx(xxx) WITH(xxx); 
CREATE VIEW xxx

● DML

INSERT INTO xxx;

獲取 ChunJun

前置準備

· Java(JDK8);

· Maven(3.6.3,版本太低會找不到對應的 jar,另外,⾼版本的 Maven 對倉庫地址強制要求是 HTTPS,會存在倉庫地址訪問失敗的情況)

ChunJun 下載

● release 下載

ChunJun release 下載地址:

https://github.com/DTStack/chunjun/releases

● 源碼編譯

源碼下載:

https://github.com/DTStack/chunjun.git

ChunJun 是通過 Maven 來進⾏代碼依賴管理,對應的打包命令是:

mvn clean package -Dmaven.test.skip

ChunJun 使⽤的是 spotless 插件來進⾏代碼⻛格管理,在修改源碼之後打包,需要對源碼先執⾏下 mvn spotless:apply 命令來進⾏代碼格式化,否則會出現格式化不合規問題。

● 目錄結構

chunjun-dist
├── chunjun-core.jar
├── connector
├── ddl
├── dirty-data-collector
├── docker-build
├── metrics
└── restore-plugins

通過 ChunJun Client 端提交任務

通過 LocalTest、Standalone、Yarn Session、Yarn Perjob 四種模式為大家介紹如何通過ChunJun Client 端提交任務。

LocalTest 模式(適⽤於本地調試)

Local Test 模式是針對開發者同學⽤來進行本地測試驗證的模塊,只需要修改 main() 中的 jobPath 路徑即可,需要註意,同步任務的腳本請以 json ⽂件結尾,計算任務的腳本請以 sql ⽂件結尾。

Standalone 模式

● 環境準備

下載 Flink 並解壓

wget "http://archive.apache.org/dist/flink/flink-<flink.version>/flink-<flink.version>-bin-scala_<scala.version>.tgz"      
tar -zxvf flink-<flink.version>-bin-scala_<scala.version>.tgz

● 配置 ChunJun

1)下載 ChunJun 並解壓

wget "https://github.com/DTStack/chunjun/releases/download/<chunjun-tag>/chunjun-dist.tar.gz"  
tar -zxvf chunjun-dist.tar.gz

2)將 ChunJun-Dist 內容複製到 Flink Lib ⽬錄下並啟動 Flink Standalone 集群

# copy the chunjun-dist to the flink_lib
cp -r chunjun-dist $FLINK_HOME/lib
# start flink standalone cluster
sh $FLINK_HOME/bin/start-cluster.sh

3)在 Flink classpath 中可以看到 ChunJun 相關 jar,表示啟動成功;

● 提交任務

sh $CHUNJUN_DIST/bin/chunjun-standalone.sh <task-script path>

命令執⾏成功之後,即可在 Flink WEB UI 中看到對應的任務。

Yarn Session 模式

● 環境準備

1)下載 ChunJun 並解壓

wget "https://github.com/DTStack/chunjun/releases/download/<chunjun-tag>/chunjun-dist.tar.gz"  
tar -zxvf chunjun-dist.tar.gz

2)下載 ChunJun 並提交到 Yarn Session 集群中

sh $FLINK_HOME/bin?yarn-session.sh -t $CHUNJUN_DIST -d

· 執⾏命令成功之後,即可在Yarn Session ⽇志,對應Classpath 部分中看到 ChunJun 相關的jar, 表示啟動成功;

· 記錄當前 Yarn Session 的,並將任務提交到指定 Session中;

sh ./bin/chunjun-yarn-session.sh -job <task-script path> -confProp {\"yarn.application.id\":\"<ApplicationID>\"} 

之後就可以在 Yarn Session 中看到對應的任務,註意以下兩點:

• 如果將 yarn.application.id 配置到 flink-conf.yaml,那麼使⽤這份配置⽂件的任務都會提交到這個 id 的 session 中;

• 如果將 yarn.application.id 配置到 confProp,那麼僅有當前任務會提交到這個 id 的 session 中。

Yarn Perjob 模式

後續會廢棄這種模式,改⽤ Application 模式。

● 環境準備

下載 Flink 並解壓

wget "http://archive.apache.org/dist/flink/flink-<flink.version>/flink-<flink.version>-bin-scala_<scala.version>.tgz"      
tar -zxvf flink-<flink.version>-bin-scala_<scala.version>.tgz

● 配置 ChunJun

下載 ChunJun 並解壓

wget "https://github.com/DTStack/chunjun/releases/download/<chunjun-tag>/chunjun-dist.tar.gz"  
tar -zxvf chunjun-dist.tar.gz

● 提交任務

sh ./bin/chunjun-yarn-perjob.sh -job <task-script path>

執⾏成功之後,可以在 Yarn Web UI 中看到相關任務。

調試 ChunJun 代碼

調試代碼能夠更好地定位問題,並解決問題。下⾯將為開發者介紹如何快速調試 ChunJun 代碼:

本地調試

ChunJun 為開發者準備了⼀個 local-test 模塊,替換 main ⽅法中的 jobPath 即可。需要提前將相關插件配置在 local-test 模塊的 pom 中,部分插件相互存在依賴衝突,需要開發者關註下。

遠程調試

在 flink-conf.yaml 中配置 debug 端⼝即可(端⼝號可以⾃⼰定義)。

# debug jobmanager
env.java.opts.jobmanager: -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005
# debug taskmanager
env.java.opts.taskmanager: -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5006

《數據治理行業實踐白皮書》下載地址:https://fs80.cn/380a4b

想瞭解或咨詢更多有關袋鼠雲大數據產品、行業解決方案、客戶案例的朋友,瀏覽袋鼠雲官網:https://www.dtstack.com/?src=szbky

同時,歡迎對大數據開源項目有興趣的同學加入「袋鼠雲開源框架釘釘技術qun」,交流最新開源技術信息,qun號碼:30537511,項目地址:https://github.com/DTStack


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本系列旨在交流 ESP32-S3 硬體開發環境的搭建,通過一些基本的示例來展示怎麼用 ESP-IDF (Espressif IoT Development Framework) 來安裝、配置環境,並編譯、下載固件至 BPI-Leaf-S3 開發板等步驟。如果有什麼沒提到或者有問題的,歡迎各位留言交流... ...
  • 存儲過程 特定功能的的SQL指令 進行封裝 編譯之後存儲在資料庫伺服器中客戶端通過名字調用這個SQL指令集 優點: 防止SQL 在網路中惡意修改 無需客戶端編寫 通過網路傳送 存儲過程 SQL存在邏輯關係 支持流程式控制制 分支 迴圈 ##基本語法 創建存儲過程 輸入參數 a 輸入參數b 都是 int ...
  • windows安裝redis及配置教程,附網盤資源 鏈接:https://pan.baidu.com/s/1KvcyY27_q7aI2hQ7QRsEGA?pwd=iidx 一、windows系統安裝及配置 解壓文件,準備開始配置、安裝服務。 1.1、註冊redis的windows服務 在該文件夾中打 ...
  • windows安裝mysql8免安裝版教程,附網盤資源 鏈接:https://pan.baidu.com/s/1_qagfA-i7CbeWG3urIAlgw?pwd=iidx 提取碼:iidx 一、前言 本次使用的mysql版本為mysql8.0.32,安裝的系統為windows系統。使用免安裝的方 ...
  • 本文分享自華為雲社區《選擇KV資料庫最重要的是什麼?》,作者:GaussDB 資料庫 。 經常有客戶提到KV資料庫,但卻偏偏“不要Redis”。比如有個做安全威脅分析平臺的客戶,他們明確表示自己對可靠性要求非常高,需要的不是開源Redis這種記憶體緩存庫,而是KV資料庫。 雖然最後我也沒問清楚他們業務 ...
  • 一、工具介紹 YCSB 於 2010 年開源,YCSB是雅虎開源的NoSQL測試工具,通常用來對noSQL資料庫進行性能,註意此工具僅支持varchar和text類型,且列的長度可以增加,預設是10列,可以根據自己的需要增加列長。運行一個壓力測試需要 6 步: 配置需要測試的資料庫 選擇合適的資料庫 ...
  • 在MySQL中,如果訪問/連接MySQL資料庫時遇到“ERROR 2003 (HY000): Can't connect to MySQL server on 'xxx.xxx.xxx.xxx:xxx' (111)”這個錯誤,我們應該從哪些方面進行考慮和排查問題呢? 下圖是我總結整理的一個思維導圖, ...
  • 生產者創建消息。在其他基於發佈與訂閱的消息系統中,生產者可能被稱為發佈者 或 寫入者。 一般情況下,一個消息會被髮布到一個特定的主題上。生產者在預設情況下把消息均衡地分佈到主題的所有分區上,而並不關心特定消息會被寫到哪個分區。不過,在某些情況下,生產者會把消息直接寫到指定的分區。這通常是通過消息鍵和 ...
一周排行
    -Advertisement-
    Play Games
  • 下麵是一個標準的IDistributedCache用例: public class SomeService(IDistributedCache cache) { public async Task<SomeInformation> GetSomeInformationAsync (string na ...
  • 這個庫提供了在啟動期間實例化已註冊的單例,而不是在首次使用它時實例化。 單例通常在首次使用時創建,這可能會導致響應傳入請求的延遲高於平時。在註冊時創建實例有助於防止第一次Request請求的SLA 以往我們要在註冊的時候實例單例可能會這樣寫: //註冊: services.AddSingleton< ...
  • 最近公司的很多項目都要改單點登錄了,不過大部分都還沒敲定,目前立刻要做的就只有一個比較老的項目 先改一個試試手,主要目標就是最短最快實現功能 首先因為要保留原登錄方式,所以頁面上的改動就是在原來登錄頁面下加一個SSO登錄入口 用超鏈接寫的入口,頁面改造後如下圖: 其中超鏈接的 href="Staff ...
  • Like運算符很好用,特別是它所提供的其中*、?這兩種通配符,在Windows文件系統和各類項目中運用非常廣泛。 但Like運算符僅在VB中支持,在C#中,如何實現呢? 以下是關於LikeString的四種實現方式,其中第四種為Regex正則表達式實現,且在.NET Standard 2.0及以上平... ...
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他們的程式記憶體會偶發性暴漲,自己分析了下是非托管記憶體問題,讓我幫忙看下怎麼回事?哈哈,看到這個dump我還是非常有興趣的,居然還有這種游戲幣自助機類型的程式,下次去大玩家看看他們出幣的機器後端是不是C#寫的?由於dump是linux上的程式,剛好win ...
  • 前言 大家好,我是老馬。很高興遇到你。 我們為 java 開發者實現了 java 版本的 nginx https://github.com/houbb/nginx4j 如果你想知道 servlet 如何處理的,可以參考我的另一個項目: 手寫從零實現簡易版 tomcat minicat 手寫 ngin ...
  • 上一次的介紹,主要圍繞如何統一去捕獲異常,以及為每一種異常添加自己的Mapper實現,並且我們知道,當在ExceptionMapper中返回非200的Response,不支持application/json的響應類型,而是寫死的text/plain類型。 Filter為二方包異常手動捕獲 參考:ht ...
  • 大家好,我是R哥。 今天分享一個爽飛了的面試輔導 case: 這個杭州兄弟空窗期 1 個月+,面試了 6 家公司 0 Offer,不知道問題出在哪,難道是杭州的 IT 崩盤了麽? 報名面試輔導後,經過一個多月的輔導打磨,現在成功入職某上市公司,漲薪 30%+,955 工作制,不咋加班,還不捲。 其他 ...
  • 引入依賴 <!--Freemarker wls--> <dependency> <groupId>org.freemarker</groupId> <artifactId>freemarker</artifactId> <version>2.3.30</version> </dependency> ...
  • 你應如何運行程式 互動式命令模式 開始一個互動式會話 一般是在操作系統命令行下輸入python,且不帶任何參數 系統路徑 如果沒有設置系統的PATH環境變數來包括Python的安裝路徑,可能需要機器上Python可執行文件的完整路徑來代替python 運行的位置:代碼位置 不要輸入的內容:提示符和註 ...