保姆級教程！玩轉 ChunJun 詳細指南

来源:https://www.cnblogs.com/DTinsight/archive/2023/03/24/17250900.html
-Advertisement-
Play Games

ChunJun 是一款穩定、易用、高效、批流一體的數據集成框架，⽀持海量數據的同步與計算。ChunJun 既可以採集靜態的數據，比如 MySQL，HDFS 等，也可以採集實時變化的數據，比如 binlog，Kafka 等。同時 ChunJun 也是一個支持原生 FlinkSQL 所有語法和特性的計算 ...


ChunJun 是一款穩定、易用、高效、批流一體的數據集成框架，⽀持海量數據的同步與計算。ChunJun 既可以採集靜態的數據，比如 MySQL，HDFS 等，也可以採集實時變化的數據，比如 binlog，Kafka 等。同時 ChunJun 也是一個支持原生 FlinkSQL 所有語法和特性的計算框架。

經過5年的迭代和開發，ChunJun 已經幫助很多公司快速進行數據整合，並解決數據開發人員需要過多進行繁瑣的數據抽取工作的問題，可以專註在企業業務場景的構建。

之前的內容當中，我們已經介紹過 ChunJun 的技術力、優勢，及如何提交 pr、Issue 的方法。作為「chunJun 新手入門」系列的第三篇，本文將為大家介紹如何配置一個 ChunJun 任務以及通過 ChunJun Client 端提交任務的流程等內容，教會大家更好地玩轉 ChunJun。

ChunJun 新手入門

• Hi，我是ChunJun，一個有趣好用的開源項目

• Ding！您有一份ChunJun實用指南，請查收

ChunJun 地址

官網：

https://dtstack.github.io/chunjun/

GitHub：

https://github.com/DTStack/chunjun

Gitee：

https://gitee.com/dtstack_dev_0/chunjun

配置一個 ChunJun 任務

ChunJun 的任務腳本⽀持兩種模式：Sync(Json) 和 SQL，前者配置更加豐富，底層使⽤的是 StreamAPI，在同步場景使⽤的較多；後者藉助 Flink SQL 本身的能⼒，利⽤ SQL 實現對數據的聚合等計算操作，底層使⽤的是 TableAPI。

Sync

同步任務使⽤的 Json 格式的配置⽂件，通過配置 Source/Sink 來完成數據的 EL 流程。⼀個同步任務的基本結構如下:

{
"job": {
"content": [
{
"nameMapping": {},
"reader": {
"parameter": {},
"name": "reader"
},
"writer": {
"parameter": {},
"name": "writer"
},
"restoration": {
"cache": {
"properties": {}
},
"workerMax": 3,
"workerSize": 3,
"workerNum": 2,
"ddl": {
"properties": {}
}
}
}
],
"setting": {
"restore": {},

● Job 整個任務的參數配置

1）同步任務的算⼦配置，如 Reader/Writer/Restoration 等。

• nameMapping：表名映射配置，⽤在 CDC 場景

• reader：同步任務 reader 的配置

• writer：同步任務writer的配置

• restoration：數據還原相關配置

2）setting 系統的⼀些參數配置，如增量同步(restore)、流控(speed)等。

SQL

ChunJun 的 SQL 任務直接沿⽤了 FlinkSQL 的引擎。詳細⽂檔請看：

https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/overview/

● DDL

CREATE TABLE xx(xxx) WITH(xxx); 
CREATE VIEW xxx

● DML

INSERT INTO xxx;

獲取 ChunJun

前置準備

· Java(JDK8);

· Maven(3.6.3，版本太低會找不到對應的 jar，另外，⾼版本的 Maven 對倉庫地址強制要求是 HTTPS，會存在倉庫地址訪問失敗的情況)

ChunJun 下載

● release 下載

ChunJun release 下載地址：

https://github.com/DTStack/chunjun/releases

● 源碼編譯

源碼下載：

https://github.com/DTStack/chunjun.git

ChunJun 是通過 Maven 來進⾏代碼依賴管理，對應的打包命令是：

mvn clean package -Dmaven.test.skip

ChunJun 使⽤的是 spotless 插件來進⾏代碼⻛格管理，在修改源碼之後打包，需要對源碼先執⾏下 mvn spotless:apply 命令來進⾏代碼格式化，否則會出現格式化不合規問題。

● 目錄結構

chunjun-dist
├── chunjun-core.jar
├── connector
├── ddl
├── dirty-data-collector
├── docker-build
├── metrics
└── restore-plugins

通過 ChunJun Client 端提交任務

通過 LocalTest、Standalone、Yarn Session、Yarn Perjob 四種模式為大家介紹如何通過ChunJun Client 端提交任務。

LocalTest 模式（適⽤於本地調試）

Local Test 模式是針對開發者同學⽤來進行本地測試驗證的模塊，只需要修改 main() 中的 jobPath 路徑即可，需要註意，同步任務的腳本請以 json ⽂件結尾，計算任務的腳本請以 sql ⽂件結尾。

Standalone 模式

● 環境準備

下載 Flink 並解壓

wget "http://archive.apache.org/dist/flink/flink-<flink.version>/flink-<flink.version>-bin-scala_<scala.version>.tgz"      
tar -zxvf flink-<flink.version>-bin-scala_<scala.version>.tgz

● 配置 ChunJun

1）下載 ChunJun 並解壓

wget "https://github.com/DTStack/chunjun/releases/download/<chunjun-tag>/chunjun-dist.tar.gz"  
tar -zxvf chunjun-dist.tar.gz

2）將 ChunJun-Dist 內容複製到 Flink Lib ⽬錄下並啟動 Flink Standalone 集群

# copy the chunjun-dist to the flink_lib
cp -r chunjun-dist $FLINK_HOME/lib
# start flink standalone cluster
sh $FLINK_HOME/bin/start-cluster.sh

3）在 Flink classpath 中可以看到 ChunJun 相關 jar，表示啟動成功；

● 提交任務

sh $CHUNJUN_DIST/bin/chunjun-standalone.sh <task-script path>

命令執⾏成功之後，即可在 Flink WEB UI 中看到對應的任務。

Yarn Session 模式

● 環境準備

1）下載 ChunJun 並解壓

wget "https://github.com/DTStack/chunjun/releases/download/<chunjun-tag>/chunjun-dist.tar.gz"  
tar -zxvf chunjun-dist.tar.gz

2）下載 ChunJun 並提交到 Yarn Session 集群中

sh $FLINK_HOME/bin?yarn-session.sh -t $CHUNJUN_DIST -d

· 執⾏命令成功之後，即可在Yarn Session ⽇志，對應Classpath 部分中看到 ChunJun 相關的jar， 表示啟動成功；

· 記錄當前 Yarn Session 的，並將任務提交到指定 Session中；

sh ./bin/chunjun-yarn-session.sh -job <task-script path> -confProp {\"yarn.application.id\":\"<ApplicationID>\"}

之後就可以在 Yarn Session 中看到對應的任務，註意以下兩點：

• 如果將 yarn.application.id 配置到 flink-conf.yaml，那麼使⽤這份配置⽂件的任務都會提交到這個 id 的 session 中；

• 如果將 yarn.application.id 配置到 confProp，那麼僅有當前任務會提交到這個 id 的 session 中。

Yarn Perjob 模式

後續會廢棄這種模式，改⽤ Application 模式。

● 環境準備

下載 Flink 並解壓

wget "http://archive.apache.org/dist/flink/flink-<flink.version>/flink-<flink.version>-bin-scala_<scala.version>.tgz"      
tar -zxvf flink-<flink.version>-bin-scala_<scala.version>.tgz

● 配置 ChunJun

下載 ChunJun 並解壓

wget "https://github.com/DTStack/chunjun/releases/download/<chunjun-tag>/chunjun-dist.tar.gz"  
tar -zxvf chunjun-dist.tar.gz

● 提交任務

sh ./bin/chunjun-yarn-perjob.sh -job <task-script path>

執⾏成功之後，可以在 Yarn Web UI 中看到相關任務。

調試 ChunJun 代碼

調試代碼能夠更好地定位問題，並解決問題。下⾯將為開發者介紹如何快速調試 ChunJun 代碼：

本地調試

ChunJun 為開發者準備了⼀個 local-test 模塊，替換 main ⽅法中的 jobPath 即可。需要提前將相關插件配置在 local-test 模塊的 pom 中，部分插件相互存在依賴衝突，需要開發者關註下。

遠程調試

在 flink-conf.yaml 中配置 debug 端⼝即可(端⼝號可以⾃⼰定義)。

# debug jobmanager
env.java.opts.jobmanager: -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005
# debug taskmanager
env.java.opts.taskmanager: -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5006

《數據治理行業實踐白皮書》下載地址：https://fs80.cn/380a4b

想瞭解或咨詢更多有關袋鼠雲大數據產品、行業解決方案、客戶案例的朋友，瀏覽袋鼠雲官網：https://www.dtstack.com/?src=szbky

同時，歡迎對大數據開源項目有興趣的同學加入「袋鼠雲開源框架釘釘技術qun」，交流最新開源技術信息，qun號碼：30537511，項目地址：https://github.com/DTStack


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Redis單機部署
    本系列旨在交流 ESP32-S3 硬體開發環境的搭建，通過一些基本的示例來展示怎麼用 ESP-IDF (Espressif IoT Development Framework) 來安裝、配置環境，並編譯、下載固件至 BPI-Leaf-S3 開發板等步驟。如果有什麼沒提到或者有問題的，歡迎各位留言交流... ...
  • 存儲過程基本語法
    存儲過程 特定功能的的SQL指令 進行封裝 編譯之後存儲在資料庫伺服器中客戶端通過名字調用這個SQL指令集 優點: 防止SQL 在網路中惡意修改 無需客戶端編寫 通過網路傳送 存儲過程 SQL存在邏輯關係 支持流程式控制制 分支 迴圈 ##基本語法 創建存儲過程 輸入參數 a 輸入參數b 都是 int ...
  • windows安裝redis及配置教程
    windows安裝redis及配置教程，附網盤資源 鏈接：https://pan.baidu.com/s/1KvcyY27_q7aI2hQ7QRsEGA?pwd=iidx 一、windows系統安裝及配置 解壓文件，準備開始配置、安裝服務。 1.1、註冊redis的windows服務 在該文件夾中打 ...
  • mysql8免安裝版安裝教程
    windows安裝mysql8免安裝版教程，附網盤資源 鏈接：https://pan.baidu.com/s/1_qagfA-i7CbeWG3urIAlgw?pwd=iidx 提取碼：iidx 一、前言 本次使用的mysql版本為mysql8.0.32，安裝的系統為windows系統。使用免安裝的方 ...
  • 選擇KV資料庫最重要的是什麼
    本文分享自華為雲社區《選擇KV資料庫最重要的是什麼？》，作者：GaussDB 資料庫 。 經常有客戶提到KV資料庫，但卻偏偏“不要Redis”。比如有個做安全威脅分析平臺的客戶，他們明確表示自己對可靠性要求非常高，需要的不是開源Redis這種記憶體緩存庫，而是KV資料庫。 雖然最後我也沒問清楚他們業務 ...
  • YCSB的使用測試MySQL協議類資料庫
    一、工具介紹 YCSB 於 2010 年開源，YCSB是雅虎開源的NoSQL測試工具，通常用來對noSQL資料庫進行性能，註意此工具僅支持varchar和text類型，且列的長度可以增加，預設是10列，可以根據自己的需要增加列長。運行一個壓力測試需要 6 步： 配置需要測試的資料庫 選擇合適的資料庫 ...
  • MySQL錯誤ERROR 2003 (HY000) Can't connect to MySQL server .' (111)
    在MySQL中，如果訪問/連接MySQL資料庫時遇到“ERROR 2003 (HY000): Can't connect to MySQL server on 'xxx.xxx.xxx.xxx:xxx' (111)”這個錯誤，我們應該從哪些方面進行考慮和排查問題呢？ 下圖是我總結整理的一個思維導圖， ...
  • Kafka生產者
    生產者創建消息。在其他基於發佈與訂閱的消息系統中，生產者可能被稱為發佈者 或 寫入者。 一般情況下，一個消息會被髮布到一個特定的主題上。生產者在預設情況下把消息均衡地分佈到主題的所有分區上，而並不關心特定消息會被寫到哪個分區。不過，在某些情況下，生產者會把消息直接寫到指定的分區。這通常是通過消息鍵和 ...
一周排行
    -Advertisement-
    Play Games
  • 6.swagger完善：界面顯示註釋+多版本控制
    周末，寫點簡單的水一下。 新版本的vs創建項目的時候可以選擇自帶一個swagger。然而這隻是基本的swagger功能。 幾個介面無所謂啦，隨著介面越來越多，就這麼丟給你，一時間也會懵逼，所以這篇文章要做的有兩個功能。 給swagger文檔添加註釋 給swagger添加切換“版本”的功能(也可以理解 ...
  • 攔截|篡改|偽造.NET類庫中不限於public的類和方法
    大家好，我是沙漠盡頭的狼。 本文首發於Dotnet9，介紹使用Lib.Harmony庫攔截第三方.NET庫方法，達到不修改其源碼並能實現修改方法邏輯、預期行為的效果，並且不限於只攔截public訪問修飾的類及方法，行文目錄： 什麼是方法攔截？ 示常式序攔截 非public方法怎麼攔截？ 總結 1. ...
  • async/await 致WPF卡死問題
    問題代碼： xmal：一個按鈕+一個顯示框 1 <Button Width="100" Height="50" Margin="10" Click="Button_Click">test</Button> 2 <TextBox x:Name="display" Width="300" Height= ...
  • Linux下Java項目部署
    前置條件 ​ 阿裡雲伺服器一臺（可在購買伺服器時勾選安裝寶塔選項，免去後面的寶塔安裝） ​ 設置阿裡雲伺服器密碼並登陸伺服器 ​ 以下操作均在伺服器Linux中進行(使用遠程連接工具登錄) 寶塔登錄 登錄阿裡雲伺服器在Linux命令行中輸入bt，查看寶塔信息 ​ 根據寶塔信息提供的網站登陸寶塔服務( ...
  • 7.4 通過API枚舉進程許可權
    GetTokenInformation 用於檢索進程或線程的令牌(Token)信息。Token是一個數據結構，其包含有關進程或線程的安全上下文，代表當前用戶或服務的安全標識符和許可權信息。GetTokenInformation函數也可以用來獲取這些安全信息，通常用於在運行時檢查某個進程或線程的許可權或安... ...
  • 【matplotlib基礎】--3D圖形
    matplotlib 在1.0版本之前其實是不支持3D圖形繪製的。 後來的版本中，matplotlib加入了3D圖形的支持，不僅僅是為了使數據的展示更加生動和有趣。更重要的是，由於多了一個維度，擴展了其展示數據分佈和關係的能力，可以一次從三個維度來比較數據。 下麵介紹在matplotlib中繪製各類 ...
  • Flutter/Dart第01天：Dart安裝和初體驗
    編寫一個App就能編譯發佈到iOS、Android和Web等各大平臺的跨平臺技術，各大廠商一直都有研究和發佈對應技術產品，目前最熱門的莫過於Flutter框架了。而Dart作為其唯一的編程語言，今天我們開始來體驗一下…… ...
  • 實現簡單線程池
    實現基本的線程池 前提：我們要實現的線程池有如下功能： 基本的線程池模型 能提交和運行任務 能正常關閉線程池 線程的拒絕策略 線程池擴容 縮容線程池 代碼地址： 1、線程池的介紹？ 線程池是什麼？ 線程池是一種利用池化技術來管理線程的一種技術。 當沒有線程池的時候，我們如何創建線程？ 繼承Threa ...
  • 基於FPGA 的SDRAM控制器
    SDRAM基本信息 儲存能力計算 4X16X4=256（Mbit），註意不是MByte SDRAM控制 sdram包含兩個部分：sdram_ctrl、fifo_ctrl。 sdram_ctrl：其頂層為SDRAM的控制模塊內部實例化了5個模塊，有初始化、自刷新、寫和讀模塊，還有一個仲裁模塊對這四個不 ...
  • 快速搭建雲原生開發環境（k8s+pv+prometheus+grafana）
    歡迎訪問我的GitHub 這裡分類和彙總了欣宸的全部原創(含配套源碼)：https://github.com/zq2599/blog_demos 本篇概覽 欣宸正在為接下新的Java雲原生實戰系列原創做準備，既然是實戰，少不了一套雲原生環境，以下內容是必不可少的： linux操作系統 kuberne ...
所有分類