CloudCanal 落地 DB2 數據遷移同步功能

来源:https://www.cnblogs.com/clougence/archive/2023/03/31/17275900.html
-Advertisement-
Play Games

簡述 Db2 是一款具有悠久歷史的關係型資料庫,由 IBM 公司開發和維護,廣泛應用於金融級業務場景。 CloudCanal 近期提供了 Db2 為源端的數據遷移同步 功能,用戶可以便利地將 Db2 中數據實時同步到其他資料庫,實現數據更廣泛、更實時的應用。 功能介紹 目標資料庫和能力 | 目標端數 ...


簡述

Db2 是一款具有悠久歷史的關係型資料庫,由 IBM 公司開發和維護,廣泛應用於金融級業務場景。

CloudCanal 近期提供了 Db2 為源端的數據遷移同步 功能,用戶可以便利地將 Db2 中數據實時同步到其他資料庫,實現數據更廣泛、更實時的應用。

功能介紹

目標資料庫和能力

目標端數據源 結構遷移 數據初始化 增量同步 數據校驗 數據訂正
MySQL 支持 支持 支持 支持 支持
TiDB 支持 支持 支持 支持 支持
Kafka - 支持 支持 - -
StarRocks 支持 支持 支持 支持 支持

Db2 源端特色能力

基於 CDC 技術的數據同步

Db2 源端同步能力是基於 SQL 複製的 ASN 捕獲代理,CloudCanal 通過捕獲 Db2 CDC 表中的增量數據來實現數據同步。

Db2 源端進行增量數據同步時,CDC 元信息表的維護過程會被自動化管理,無需用戶手動操作。

同時,CloudCanal 會周期性地清理已經同步到目標端的 CDC 記錄,以避免 CDC 表的無限增長,從而保證同步數據的準確性和系統的穩定性。

結構遷移類型自動處理

不同資料庫對於數據類型支持存在差異,CloudCanal 結構遷移時會進行類型自動轉換

Db2 為源端的結構遷移也存在類似轉換(5+,並不斷細化),如對端為 MySQL 或 TiDB,CloudCanal 將自動轉換 VARCHAR FOR BIT DATA 為 VARBINARY。

數據初始化支持斷點續傳

Db2 為源端的數據初始化,支持字元或數字類型主鍵表的斷點續傳功能。

對於億級別數據量的大表,此能力不可或缺,數據初始化斷點續傳功能讓此種暫停儘可能少的影響進度。

數據同步支持斷點續傳

長周期的數據同步任務,暫停任務調整參數修複問題數據優化性能等情況很難避免,斷點續傳讓這些維護操作變成可能。

CloudCanal 定時或定量保存提交後的位點(LSN,log sequence number),確保增量同步任務重啟後可繼續,並且不丟失數據。

配套數據校驗與訂正能力

在數據同步過程中,由於數據的外部關聯性結構約束差異資料庫運維操作軟體bug等情況,兩端數據可能會不一致,此時數據校驗和訂正功能非常必要。

CloudCanal 為 Db2 為源端的數據同步能力額外提供了數據校驗數據訂正功能,快速確定不一致數據範圍,並針對差異數據進行修複。

產品化能力支撐

可視化創建

CloudCanal 創建 Db2 數據遷移同步任務是完全可視化的,通過獲取資料庫元數據,讓用戶在 web 頁面上決定哪些庫、表、列進行遷移同步,或者設定過濾條件自定義數據處理邏輯等。

自動化流程

Db2 數據遷移同步任務創建後,CloudCanal 將自動流轉各個階段的任務,用戶無需干涉,直達數據實時同步狀態。

監控圖表支撐

CloudCanal 為 Db2 數據遷移同步任務提供了多個實用監控指標,包括增量緩存RPS增量緩存延遲(ms)記憶體隊列數據個數等,當調優任務性能或排查任務異常原因時,監控指標提供了很好的判斷依據。

告警支持

CloudCanal 為 Db2 數據遷移任務提供了包括釘釘/企業微信/飛書/自定義等 webhook 類型告警,對於企業級客戶,可額外選擇郵件,以及簡訊告警,實時保障同步任務的高可用。

簡單示例

本示例以將數據從 Db2 資料庫同步到 MySQL 資料庫為操作案例,以便更好地說明 CloudCanal 在不同資料庫之間進行數據同步的能力。

準備動作

  • 準備 CloudCanal,安裝詳細請參考:全新安裝
  • 準備好 Db2 資料庫(本例使用 11.5 版本)和 MySQL 資料庫(本例使用 8.0 版本)
  • 登錄 CloudCanal 平臺 ,添加 Db2 和 MySQL
  • Db2 源端如果需要增量同步需要開啟 CDC,詳細請參考:Db2 源端 CDC 同步準備

任務創建

  • 任務管理 -> 新建任務

  • 測試鏈接並選擇 源 和 目標 資料庫

  • 點擊下一步

  • 選擇 數據同步,並勾選 全量數據初始化,其他選項預設

  • 選擇需要遷移同步的表和列

  • 確認創建任務

  • 任務自動做結構遷移、全量遷移、增量同步

  • 增量階段進行數據寫入後,進行數據校驗,數據校驗通過

總結

本文主要介紹了 CloudCanal 支持 Db2 為源端數據遷移同步功能,通過這個能力,用戶可以便利地將 Db2 中數據實時同步到其他資料庫,實現數據更廣泛、更實時的應用。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 環境準備: 1.至少倆台linux主機,一臺是控制節點,一臺是受控節點 2.控制節點和受控節點都需要安裝Python36 3.控制節點需要安裝ansible 4.控制節點需要獲得受控節點的普通用戶或root用戶的許可權,控制節點需要ssh客戶端,受控節點需要ssh服務端 5.控制節點和受控節點之間網路 ...
  • 一:MQTT 1、MQTT協議說明 ( Message Queuing Telemetry Transport)消息隊列傳輸探測,一種基於==發佈/訂閱模式==的輕量級消息傳輸協議 2、MQTT協議來源 在1999年的時候,Andy Stanford-Clark和 Arlen Nipper需要一種通 ...
  • 安裝與配置 1. 安裝Squid代理伺服器軟體: sudo yum install squid 2. 配置Squid代理伺服器: #http_access allow localnet 將其改為: http_access allow all 然後找到以下行: #http_port 3128 將其改為 ...
  • #ubuntu16.04升級python3.7.1教程 準備 sudo apt-get install --reinstall zlibc zlib1g zlib1g-dev sudo apt-get install libffi-dev libssl-dev libreadline-dev -y ...
  • Linux 文件許可權 文件許可權和文件類型共有10個字元組成,這10個字元可以分成三部分 $$ d+rwx+rwx+rw-\d:表示文件類型\2-4位(第一組rwx):表示文件所有者的對文件的許可權\5-7位(第二組rwx):表示文件所有者所在組的用戶對文件的許可權\8-10位(rw-):表示其他用戶對文 ...
  • 一、項目要求 1、創建role,通過role完成項目(可能需要多個role) 2、部署nginx調度器(node2主機) 3、部署2台lnmp伺服器(node3,node4主機) 4、部署mariadb資料庫(node5主機) 主要用的ansible實現自動化部署,ansible的安裝教程省略,控制 ...
  • 昨天看到一個MySQL資料庫設計原則:強烈建議表的主鍵使用整型自增主鍵。為啥呢? 要弄明白這個問題首先需要瞭解MySQL是如何維護數據的,你需要知道以下幾點: MySQL的InnoDB存儲引擎是在B+樹上維護表數據的 B+樹是一種平衡樹 在這棵樹上,每個節點在電腦中叫做數據頁,預設16k 樹的葉子 ...
  • 一、基本概念 ——後續的內容將會記錄作者在計科學習內容 DB(資料庫):存儲數據的倉庫,數據是有組織進行存儲 DBMS(資料庫管理系統):操縱和管理資料庫的大型軟體 SQL:操縱關係資料庫的編程語言,是一套標準 有Mysql,Oracle,SQLSever,PostgreSQl RDBMS(關係型數 ...
一周排行
    -Advertisement-
    Play Games
  • 在本篇教程中,我們學習瞭如何使用 Taurus.MVC WebMVC 框架創建一個簡單的頁面。 我們創建了一個控制器並編寫了一個用於呈現頁面的方法,然後創建了對應的視圖,並最終成功運行了應用程式。 在下一篇教程中,我們將繼續探索 Taurus.MVC WebMVC 框架的更多功能和用法。 ...
  • 一:背景 1. 講故事 很多.NET開發者在學習高級調試的時候,使用sos的命令輸出會發現這裡也看不懂那裡也看不懂,比如截圖中的這位朋友。 .NET高級調試屬於一個偏冷門的領域,國內可觀測的資料比較少,所以很多東西需要你自己去探究源代碼,然後用各種調試工具去驗證,相關源代碼如下: coreclr: ...
  • 我一直都以為c中除以2的n次方可以使用右移n位代替,然而在實際調試中發現並不都是這樣的。是在計算餘數是發現了異常 被除數:114325068 右移15計算結果:3488 除法取整計算結果:3489 右移操作計算餘數:33772 除法取整計算餘數:1005 顯然:這是不一樣的。 移位操作是一條cpu指 ...
  • 在上一篇文章中,我們介紹了ReentrantLock類的一些基本用法,今天我們重點來介紹一下ReentrantLock其它的常用方法,以便對ReentrantLock類的使用有更深入的理解。 ...
  • Excelize 是 Go 語言編寫的用於操作電子錶格辦公文檔的開源基礎庫,2024年2月26日,社區正式發佈了 2.8.1 版本,該版本包含了多項新增功能、錯誤修複和相容性提升優化。 ...
  • 雲採用框架(Cloud Adoption Framework,簡稱CAF)為企業上雲提供策略和技術的指導原則和最佳實踐,幫助企業上好雲、用好雲、管好雲,併成功實現業務目標。本雲採用框架是基於服務大量企業客戶的經驗總結,將企業雲採用分為四個階段,並詳細探討企業應在每個階段採取的業務和技術策略;同時,還 ...
  • 與TXT文本文件,PDF文件更加專業也更適合傳輸,常用於正式報告、簡歷、合同等場合。項目中如果有使用Java將TXT文本文件轉為PDF文件的需求,可以查看本文中介紹的免費實現方法。 免費Java PDF庫 本文介紹的方法需要用到Free Spire.PDF for Java,該免費庫支持多種操作、轉 ...
  • 指針和引用 當我們需要在程式中傳遞變數的地址時,可以使用指針或引用。它們都可以用來間接訪問變數,但它們之間有一些重要的區別。 指針是一個變數,它存儲另一個變數的地址。通過指針,我們可以訪問存儲在該地址中的變數。指針可以被重新分配,可以指向不同的變數,也可以為NULL。指針使用*運算符來訪問存儲在地址 ...
  • 即使再小再簡單的需求,作為研發開發完畢之後,我們可以直接上線麽?其實很多時候事故往往就是由於“不以為意”發生的。事故的發生往往也遵循“墨菲定律”,這就要求我們更要敬畏線上,再小的需求點都需要經過嚴格的測試驗證才能上線。 ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 一、是什麼 許可權是對特定資源的訪問許可,所謂許可權控制,也就是確保用戶只能訪問到被分配的資源 而前端許可權歸根結底是請求的發起權,請求的發起可能有下麵兩種形式觸發 頁面載入觸發 頁面上的按鈕點擊觸發 總的來說,所有的請求發起都觸發自前端路由或 ...