CloudCanal 數據脫敏實踐

簡述

本文主要介紹使用 CloudCanal 做數據遷移同步時如何對特定數據做脫敏處理。

技術點

自定義代碼

CloudCanal 允許用戶上傳業務代碼到數據任務中，完成數據遷移、同步過程中數據處理的目的。

數據同步脫敏也是基於自定義代碼實現，具備以下特點：

• 脫敏範圍靈活，可選擇任何一個或多個表欄位
• 脫敏演算法可依賴外部演算法包
• 脫敏邏輯和策略可自定義

操作示例

脫敏代碼開發

• 數據脫敏邏輯開發。Gitee 上完整代碼
  
  
• 代碼打包
  
• 代碼包位置
  

安裝 CloudCanal

• 下載、安裝並激活 CloudCanal 私有部署版本

任務創建

• 任務管理 > 創建任務
• 選擇源和目標資料庫
  
• 選擇增量同步，並勾選數據初始化
  
• 選擇同步表
  
• 選擇列，右上角 上傳自定義代碼 jar 包
  
• 創建任務
  
• 任務結構遷移、全量遷移、增量同步，正常運行
  

驗證數據

• 源端與目標端數據
  
  
• 對測試表造一些 DML 操作後，源端和目標端數據
  
  

常見問題

目前還存在什麼問題？

• 只支持 Java 語言，對於非開發同學不夠友好，後續希望能支持常用腳本語言。
• 數據校驗和數據訂正暫時不支持，對於基於自定義代碼實現的數據遷移同步，無法做到數據質量校驗。

總結

主要介紹使用 CloudCanal 做數據遷移同步時數據脫敏工作。