國產資料庫 GaussDB 數據遷移同步初探

来源:https://www.cnblogs.com/clougence/archive/2023/08/25/17656512.html
-Advertisement-
Play Games

## 簡介 [CloudCanal](https://www.clougence.com?kw=cnblogs_20230825) 近期發佈了 [GaussDB for MySQL](https://www.huaweicloud.com/product/gaussdbformysql.html)和 ...


簡介

CloudCanal 近期發佈了 GaussDB for MySQLOpenGauss 為對端的數據遷移同步鏈路。

對於新興國產資料庫 GaussDB ,我們也是第一次落地其相關的數據遷移同步能力,故從比較簡單的對端作為切入點,逐步熟悉並延伸其相關數據生態。

本文以 MySQL 到 OpenGauss 數據遷移同步為案例,簡要介紹技術背景以及快速使用案例。

技術點

MySQL 和 PostgreSQL 生態

GaussDB for MySQL 和 OpenGauss 分別是 MySQL 和 PostgreSQL 生態的產物,所以對於數據遷移同步的場景,也是分開處理的。

這些處理技術的差異點包括:

  • Schema 結構
  • 元數據獲取方式
  • 數據類型
  • 結構遷移和同步
  • 數據寫入方式
  • 性能調優

雖然上述兩者差異明顯,但是 GaussDB for MySQL 和 MySQL , OpenGauss 和 PostgreSQL 之間相容性相當不錯,基本上可以做到無差別處理。

所以作為對端,我們大量復用了 MySQL 和 PostgreSQL 數據遷移同步相關技術,使得 GaussDB 數據鏈路從一推出,即具備不錯的成熟度。

簡單示例

我們以 MySQL 到 OpenGauss 為示例,簡要介紹如何使用 CloudCanal 做 GaussDB 相關的數據遷移同步。

準備動作

任務創建

  • 任務管理 -> 新建任務

  • 測試鏈接 並選擇已添加的 目標 資料庫

  • 點擊下一步

  • 選擇 數據同步

  • 勾選 全量數據初始化

  • 選擇 開啟一次性數據校驗(可選)

  • 點擊下一步

  • 選擇需要 遷移同步的表

  • 點擊下一步

  • 預設勾選所有列

  • 點擊下一步

  • 確認創建任務

  • 任務 自動執行結構遷移全量遷移增量同步

  • 任務同步延遲降到 10 秒以下時,自動執行數據校驗,結果顯示數據一致

總結

本文主要介紹了 CloudCanal 支持 GaussDB for MySQL 和 OpenGauss 目標端數據遷移同步功能,通過這個能力,用戶可以便利地將數據遷移同步到 GaussDB for MySQL/OpenGauss 資料庫,實現數據更廣泛、更實時的應用。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 哈嘍大家好,我是鹹魚 在《[SELinux 入門 pt.1](https://mp.weixin.qq.com/s?__biz=MzkzNzI1MzE2Mw==&mid=2247486365&idx=1&sn=4b81b3cc70b085eec6f0a595fda719fb&chksm=c2930b ...
  • 平時使用windows電腦和手機的時候,配置時間、時區都非常的簡便。但在命令行的linux下,就不知如何下手。本文就Centos7舉例,依次說明下時間日期和NTP\CHRONY的配置。 由於在伺服器側時間同步常用於集群之間,所以本文後面會針對集群間的配置做舉例。文中涉及到的網路安裝軟體部分,預設為在 ...
  • 虛擬記憶體的主要作用是提供更大的地址空間,使得每個進程都可以擁有大量的虛擬記憶體,而不受物理記憶體大小的限制。此外,虛擬記憶體還可以提供記憶體保護和共用的機制,保護每個進程的記憶體空間不被其他進程非法訪問,並允許多個進程共用同一份物理記憶體數據,提高了系統的資源利用率。虛擬記憶體的實現方式有分段和分頁兩種,其中分頁... ...
  • linux內核為用戶態進程提供了一組IO相關的系統調用: select/poll/epoll, 這三個系統調用功能類似, 在使用方法和性能等方面存在一些差異. 使用它們, 用戶態的進程可以"監控"自己感興趣的文件描述符, 當這些文件描述符的狀態發生改變時, 比如可讀或者可寫了, 內核會通知進程去處理... ...
  • [toc] # Linux運維工程師面試題(1) > 祝各位小伙伴們早日找到自己心儀的工作。 > 持續學習才不會被淘汰。 > 地球不爆炸,我們不放假。 > 機會總是留給有有準備的人的。 > 加油,打工人! ## 1 別名、內部命令、外部命令的執行順序 命令執行尋找順序:別名 > 內部命令 > 外部命 ...
  • IN 和 EXISTS 是 SQL 中的兩種子查詢操作符,它們都可以用來測試一個值或一組值是否在子查詢的結果集中。然而,它們在某些情況下的性能和語義上有所不同,因此在不同的使用場景中可能會選擇不同的操作符。 IN:IN 操作符用於測試一個值是否在一組值中。它通常用於處理靜態的值列表或返回列的子查詢。 ...
  • 本文分享自華為雲社區《【如何保證你的DWS數據更安全】使用DWS集群,用戶被鎖定如何解鎖?》,作者:Shirley_Dou 。 一、管理員用戶被鎖定,怎麼破?gsql: FATAL: The account has been locked. 1、重置集群密碼可自動解鎖,在集群管理頁面,找到對應集群重 ...
  • 當時買了一臺Windows Server伺服器,然後安裝上SQL Server後,想通過外網訪問到資料庫,遇到了一些問題,查了很多資料也踩了很多坑。本文主要介紹如何配置SQL Server遠程連接?如何新增管理員用戶等。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...