CloudCanal 落地 DB2 數據遷移同步功能

簡述

Db2 是一款具有悠久歷史的關係型資料庫，由 IBM 公司開發和維護，廣泛應用於金融級業務場景。

CloudCanal 近期提供了 Db2 為源端的數據遷移同步 功能，用戶可以便利地將 Db2 中數據實時同步到其他資料庫，實現數據更廣泛、更實時的應用。

功能介紹

目標資料庫和能力

Db2 源端特色能力

基於 CDC 技術的數據同步

Db2 源端同步能力是基於 SQL 複製的 ASN 捕獲代理，CloudCanal 通過捕獲 Db2 CDC 表中的增量數據來實現數據同步。

Db2 源端進行增量數據同步時，CDC 元信息表的維護過程會被自動化管理，無需用戶手動操作。

同時，CloudCanal 會周期性地清理已經同步到目標端的 CDC 記錄，以避免 CDC 表的無限增長，從而保證同步數據的準確性和系統的穩定性。

結構遷移類型自動處理

不同資料庫對於數據類型支持存在差異，CloudCanal 結構遷移時會進行類型自動轉換。

Db2 為源端的結構遷移也存在類似轉換(5+，並不斷細化)，如對端為 MySQL 或 TiDB，CloudCanal 將自動轉換 VARCHAR FOR BIT DATA 為 VARBINARY。

數據初始化支持斷點續傳

Db2 為源端的數據初始化，支持字元或數字類型主鍵表的斷點續傳功能。

對於億級別數據量的大表，此能力不可或缺，數據初始化斷點續傳功能讓此種暫停儘可能少的影響進度。

數據同步支持斷點續傳

長周期的數據同步任務，暫停任務調整參數、修複問題數據、優化性能等情況很難避免，斷點續傳讓這些維護操作變成可能。

CloudCanal 定時或定量保存提交後的位點(LSN，log sequence number)，確保增量同步任務重啟後可繼續，並且不丟失數據。

配套數據校驗與訂正能力

在數據同步過程中，由於數據的外部關聯性、結構約束差異、資料庫運維操作、軟體bug等情況，兩端數據可能會不一致，此時數據校驗和訂正功能非常必要。

CloudCanal 為 Db2 為源端的數據同步能力額外提供了數據校驗和數據訂正功能，快速確定不一致數據範圍，並針對差異數據進行修複。

產品化能力支撐

可視化創建

CloudCanal 創建 Db2 數據遷移同步任務是完全可視化的，通過獲取資料庫元數據，讓用戶在 web 頁面上決定哪些庫、表、列進行遷移同步，或者設定過濾條件、自定義數據處理邏輯等。

自動化流程

Db2 數據遷移同步任務創建後，CloudCanal 將自動流轉各個階段的任務，用戶無需干涉，直達數據實時同步狀態。

監控圖表支撐

CloudCanal 為 Db2 數據遷移同步任務提供了多個實用監控指標，包括增量緩存RPS、增量緩存延遲(ms)、記憶體隊列數據個數等，當調優任務性能或排查任務異常原因時，監控指標提供了很好的判斷依據。

告警支持

CloudCanal 為 Db2 數據遷移任務提供了包括釘釘/企業微信/飛書/自定義等 webhook 類型告警，對於企業級客戶，可額外選擇郵件，以及簡訊告警，實時保障同步任務的高可用。

簡單示例

本示例以將數據從 Db2 資料庫同步到 MySQL 資料庫為操作案例，以便更好地說明 CloudCanal 在不同資料庫之間進行數據同步的能力。

準備動作

• 準備 CloudCanal，安裝詳細請參考：全新安裝
• 準備好 Db2 資料庫（本例使用 11.5 版本）和 MySQL 資料庫（本例使用 8.0 版本）
• 登錄 CloudCanal 平臺 ，添加 Db2 和 MySQL
• Db2 源端如果需要增量同步需要開啟 CDC，詳細請參考：Db2 源端 CDC 同步準備
  

任務創建

• 任務管理 -> 新建任務

• 測試鏈接並選擇 源 和 目標 資料庫

• 點擊下一步
  

• 選擇 數據同步，並勾選 全量數據初始化，其他選項預設
  

• 選擇需要遷移同步的表和列
  
  

• 確認創建任務
  

• 任務自動做結構遷移、全量遷移、增量同步
  

• 增量階段進行數據寫入後，進行數據校驗，數據校驗通過
  

總結

本文主要介紹了 CloudCanal 支持 Db2 為源端數據遷移同步功能，通過這個能力，用戶可以便利地將 Db2 中數據實時同步到其他資料庫，實現數據更廣泛、更實時的應用。