簡述 ClickHouse 是一種流行的列式資料庫，對於計算 uv、mv、pv 等聚合類數據相當友好，所以廣泛使用於各類報表場景。 本文主要介紹如何使用 CloudCanal 快速構建一條穩定高效運行的 ORACLE 到 ClickHouse 數據同步鏈路。 示例中 ORACLE 庫為 PDB 模式 ...
簡述
ClickHouse 是一種流行的列式資料庫，對於計算 uv、mv、pv 等聚合類數據相當友好，所以廣泛使用於各類報表場景。
本文主要介紹如何使用 CloudCanal 快速構建一條穩定高效運行的 ORACLE 到 ClickHouse 數據同步鏈路。
示例中 ORACLE 庫為 PDB 模式, ClickHouse 為單副本實例。
技術點
ORACLE 源端增量同步技術
CloudCanal 對於 ORACLE 源端增量同步採用 LogMiner 分析 redo 日誌或物化視圖/類trigger 方式進行。
對於前者，我們採用了多種優化方式，將 ORACLE 源端增量同步做到準確、穩定、性能幾個方面的平衡，這些技術包括：
- 採用 LogMiner 最標準的方式( ADD_FILE)作為預設解析方式，同時輔以 CONTINUOUS_MINE作為補充（有 ORACLE 版本限制）
- 採用全事件消費模式保障 ORACLE 穩定
- 支持本地存儲以緩存超大變更數據，並採用手動指定序列化/反序列化器讓數據存取更可靠
- 採用更加全面的 redo SQL 解析器提升解析準確性
- 支持事件合併，批量交付對端寫入，大幅提升數據寫入性能
- 支持 DDL 同步（部分鏈路），部分減少數據同步鏈路運維壓力
- 支持位點回拉，讓數據消費錯誤有機會得以彌補
- 支持全量數據校驗，讓數據質量得到更好的監測
- 支持任務編輯，讓長周期運行的數據同步任務更平滑地應對同步對象的變化
- 加強的監控指標，讓同步狀態更加明瞭
- 縮小的資料庫許可權，讓風險進一步縮小
圍繞 ORACLE 資料庫的周邊生態，我們希望能夠做到 GoldenGate 一樣強大甚至超出，相關產品技術不斷迭代演進。
ClickHouse 高性能寫入
CloudCanal 對於 ClickHouse 高性能寫入技術，主要結合列存的特點、常見業務場景流量特點、用戶使用和理解的便利性 3 方面進行選擇與平衡。
列存相對行存的特點:
- 列的批量讀取效率高，磁碟 IO 相對小
- 列存數據塊因類型相似，壓縮效率好，可使用的計算指令和方式更多
常見業務場景流量特點：
- insert 和 update 比例高於 delete, 偏向分析統計的日誌類數據 insert 比例遠高於後兩者
- 要求高併發的業務，數據讀取更新往往只在幾個列上
- 偏向運營用戶的互動式數據分析更多在最近寫入的數據上
用戶使用和理解便利性：
- 不維護額外的欄位，比如版本、是否刪除等
- 性能和實時一致性可選擇，讓用戶有路可走
- 選擇 ClickHouse 主流表引擎，防止未來版本 deprecated
針對上述3個方面的特點，我們採用了以下一些技術達成平衡
- insert/update 走 APPEND 方式(批量寫入)，delete 走 ALTER TABLE ，性能好，但需要 OPTIMIZE 或查詢帶 FINAL
- 完全一致通過自定義代碼拆分 update 為 delete 和 insert 達成，但性能降低
- 預設採用 ReplacingMergeTree 達成數據去重
- 支持並行批量寫入(但更複雜些)
操作示例
前置條件
-
準備一個 ORACLE 資料庫，和 ClickHouse 實例（本例分別使用自建 Oracle 19c 和阿裡雲 ClickHouse 21.8）
-
登錄 CloudCanal 平臺 ，分別添加
-
ORACLE 採用 PDB 方式添加
任務創建
-
任務管理->任務創建
-
測試鏈接並選擇 源 和 目標 資料庫
-
點擊下一步
-
選擇 數據同步，並勾選 全量數據初始化, 其他選項預設
-
選擇需要遷移同步的表，目標映射規則可選擇與源端一致和轉小寫
-
選擇需要遷移同步的列 ，目標映射規則可選擇與源端一致和轉小寫
-
確認創建任務
-
任務自動做結構遷移、全量遷移、增量同步
校驗數據
-
程式往源端 ORACLE 造數據，I:U:D 比值為 15:83:2
-
任務正常運行一段時間後，停止造數據
-
點擊 ORACLE -> ClickHouse 任務詳情，更多 > 創建相似任務，第二步選擇數據校驗
-
數據校驗 OK
常見問題
是否支持分散式版本的 ClickHouse?
暫時不支持分散式版本的 ClickHouse ，主要工作量在於產品化結構遷移、增量同步 DDL 、數據寫入等方面的變化。
如果不要 append 模式而採用強一致模式寫入 ClickHouse 怎麼辦？
可以採用自定義代碼將 update 拆分為 delete 和 insert ，實現實時一致的效果，但是 update 較多時，性能較差。
支持什麼版本的 ORACLE ？
目前支持 11g,12c,19c, CDB 或 PDB 類型資料庫皆可使用 CloudCanal 進行遷移同步。
總結
本文簡單介紹瞭如何使用 CloudCanal 進行 ORACLE -> ClickHouse 數據遷移同步。各位讀者朋友，如果你覺得還不錯，請點贊、評論加轉發吧。
