CloudCanal 落地 DB2 數據遷移同步功能

来源:https://www.cnblogs.com/clougence/archive/2023/03/31/17275900.html
-Advertisement-
Play Games

簡述 Db2 是一款具有悠久歷史的關係型資料庫,由 IBM 公司開發和維護,廣泛應用於金融級業務場景。 CloudCanal 近期提供了 Db2 為源端的數據遷移同步 功能,用戶可以便利地將 Db2 中數據實時同步到其他資料庫,實現數據更廣泛、更實時的應用。 功能介紹 目標資料庫和能力 | 目標端數 ...


簡述

Db2 是一款具有悠久歷史的關係型資料庫,由 IBM 公司開發和維護,廣泛應用於金融級業務場景。

CloudCanal 近期提供了 Db2 為源端的數據遷移同步 功能,用戶可以便利地將 Db2 中數據實時同步到其他資料庫,實現數據更廣泛、更實時的應用。

功能介紹

目標資料庫和能力

目標端數據源 結構遷移 數據初始化 增量同步 數據校驗 數據訂正
MySQL 支持 支持 支持 支持 支持
TiDB 支持 支持 支持 支持 支持
Kafka - 支持 支持 - -
StarRocks 支持 支持 支持 支持 支持

Db2 源端特色能力

基於 CDC 技術的數據同步

Db2 源端同步能力是基於 SQL 複製的 ASN 捕獲代理,CloudCanal 通過捕獲 Db2 CDC 表中的增量數據來實現數據同步。

Db2 源端進行增量數據同步時,CDC 元信息表的維護過程會被自動化管理,無需用戶手動操作。

同時,CloudCanal 會周期性地清理已經同步到目標端的 CDC 記錄,以避免 CDC 表的無限增長,從而保證同步數據的準確性和系統的穩定性。

結構遷移類型自動處理

不同資料庫對於數據類型支持存在差異,CloudCanal 結構遷移時會進行類型自動轉換

Db2 為源端的結構遷移也存在類似轉換(5+,並不斷細化),如對端為 MySQL 或 TiDB,CloudCanal 將自動轉換 VARCHAR FOR BIT DATA 為 VARBINARY。

數據初始化支持斷點續傳

Db2 為源端的數據初始化,支持字元或數字類型主鍵表的斷點續傳功能。

對於億級別數據量的大表,此能力不可或缺,數據初始化斷點續傳功能讓此種暫停儘可能少的影響進度。

數據同步支持斷點續傳

長周期的數據同步任務,暫停任務調整參數修複問題數據優化性能等情況很難避免,斷點續傳讓這些維護操作變成可能。

CloudCanal 定時或定量保存提交後的位點(LSN,log sequence number),確保增量同步任務重啟後可繼續,並且不丟失數據。

配套數據校驗與訂正能力

在數據同步過程中,由於數據的外部關聯性結構約束差異資料庫運維操作軟體bug等情況,兩端數據可能會不一致,此時數據校驗和訂正功能非常必要。

CloudCanal 為 Db2 為源端的數據同步能力額外提供了數據校驗數據訂正功能,快速確定不一致數據範圍,並針對差異數據進行修複。

產品化能力支撐

可視化創建

CloudCanal 創建 Db2 數據遷移同步任務是完全可視化的,通過獲取資料庫元數據,讓用戶在 web 頁面上決定哪些庫、表、列進行遷移同步,或者設定過濾條件自定義數據處理邏輯等。

自動化流程

Db2 數據遷移同步任務創建後,CloudCanal 將自動流轉各個階段的任務,用戶無需干涉,直達數據實時同步狀態。

監控圖表支撐

CloudCanal 為 Db2 數據遷移同步任務提供了多個實用監控指標,包括增量緩存RPS增量緩存延遲(ms)記憶體隊列數據個數等,當調優任務性能或排查任務異常原因時,監控指標提供了很好的判斷依據。

告警支持

CloudCanal 為 Db2 數據遷移任務提供了包括釘釘/企業微信/飛書/自定義等 webhook 類型告警,對於企業級客戶,可額外選擇郵件,以及簡訊告警,實時保障同步任務的高可用。

簡單示例

本示例以將數據從 Db2 資料庫同步到 MySQL 資料庫為操作案例,以便更好地說明 CloudCanal 在不同資料庫之間進行數據同步的能力。

準備動作

  • 準備 CloudCanal,安裝詳細請參考:全新安裝
  • 準備好 Db2 資料庫(本例使用 11.5 版本)和 MySQL 資料庫(本例使用 8.0 版本)
  • 登錄 CloudCanal 平臺 ,添加 Db2 和 MySQL
  • Db2 源端如果需要增量同步需要開啟 CDC,詳細請參考:Db2 源端 CDC 同步準備

任務創建

  • 任務管理 -> 新建任務

  • 測試鏈接並選擇 源 和 目標 資料庫

  • 點擊下一步

  • 選擇 數據同步,並勾選 全量數據初始化,其他選項預設

  • 選擇需要遷移同步的表和列

  • 確認創建任務

  • 任務自動做結構遷移、全量遷移、增量同步

  • 增量階段進行數據寫入後,進行數據校驗,數據校驗通過

總結

本文主要介紹了 CloudCanal 支持 Db2 為源端數據遷移同步功能,通過這個能力,用戶可以便利地將 Db2 中數據實時同步到其他資料庫,實現數據更廣泛、更實時的應用。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 環境準備: 1.至少倆台linux主機,一臺是控制節點,一臺是受控節點 2.控制節點和受控節點都需要安裝Python36 3.控制節點需要安裝ansible 4.控制節點需要獲得受控節點的普通用戶或root用戶的許可權,控制節點需要ssh客戶端,受控節點需要ssh服務端 5.控制節點和受控節點之間網路 ...
  • 一:MQTT 1、MQTT協議說明 ( Message Queuing Telemetry Transport)消息隊列傳輸探測,一種基於==發佈/訂閱模式==的輕量級消息傳輸協議 2、MQTT協議來源 在1999年的時候,Andy Stanford-Clark和 Arlen Nipper需要一種通 ...
  • 安裝與配置 1. 安裝Squid代理伺服器軟體: sudo yum install squid 2. 配置Squid代理伺服器: #http_access allow localnet 將其改為: http_access allow all 然後找到以下行: #http_port 3128 將其改為 ...
  • #ubuntu16.04升級python3.7.1教程 準備 sudo apt-get install --reinstall zlibc zlib1g zlib1g-dev sudo apt-get install libffi-dev libssl-dev libreadline-dev -y ...
  • Linux 文件許可權 文件許可權和文件類型共有10個字元組成,這10個字元可以分成三部分 $$ d+rwx+rwx+rw-\d:表示文件類型\2-4位(第一組rwx):表示文件所有者的對文件的許可權\5-7位(第二組rwx):表示文件所有者所在組的用戶對文件的許可權\8-10位(rw-):表示其他用戶對文 ...
  • 一、項目要求 1、創建role,通過role完成項目(可能需要多個role) 2、部署nginx調度器(node2主機) 3、部署2台lnmp伺服器(node3,node4主機) 4、部署mariadb資料庫(node5主機) 主要用的ansible實現自動化部署,ansible的安裝教程省略,控制 ...
  • 昨天看到一個MySQL資料庫設計原則:強烈建議表的主鍵使用整型自增主鍵。為啥呢? 要弄明白這個問題首先需要瞭解MySQL是如何維護數據的,你需要知道以下幾點: MySQL的InnoDB存儲引擎是在B+樹上維護表數據的 B+樹是一種平衡樹 在這棵樹上,每個節點在電腦中叫做數據頁,預設16k 樹的葉子 ...
  • 一、基本概念 ——後續的內容將會記錄作者在計科學習內容 DB(資料庫):存儲數據的倉庫,數據是有組織進行存儲 DBMS(資料庫管理系統):操縱和管理資料庫的大型軟體 SQL:操縱關係資料庫的編程語言,是一套標準 有Mysql,Oracle,SQLSever,PostgreSQl RDBMS(關係型數 ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...