在華為開發者大會2023(Cloud)的“GaussDB資料庫,打造輕量化遷移部署方案”專題論壇上,掌數科技解決方案總經理高星作為華為雲GaussDB的優秀合作伙伴,分享了掌數科技和華為雲GaussDB長期合作的實踐和成果。 ...
本文分享自華為雲社區《掌數科技攜手華為雲GaussDB,助力金融科技創新,聯合打造行業標桿》,作者:GaussDB 資料庫 。
近日,在華為開發者大會2023(Cloud)的“GaussDB資料庫,打造輕量化遷移部署方案”專題論壇上,掌數科技解決方案總經理高星作為華為雲GaussDB的優秀合作伙伴,分享了掌數科技和華為雲GaussDB長期合作的實踐和成果。
同心合力,一起打造完善的GaussDB生態體系
掌數科技是一家聚焦於證券和大資管行業,面向資料庫和大數據技術、智能化場景應用以及行業信息技術應用創新領域的金融科技企業,服務於全國80餘家大型金融機構客戶。作為華為在金融行業資料庫技術領域的全面合作伙伴,掌數科技長期與華為雲GaussDB合作,提供基於華為雲GaussDB資料庫的配套生態軟體產品及服務支撐體系,在金融大數據服務和應用遷移上雲等領域積極投入,幫助行業用戶快速轉型。
高星表示,掌數科技作為為金融細分領域客戶提供技術服務和支持的一家廠商,選擇和華為雲GaussDB戰略合作,是因為華為有非常好的研發實力做基礎,能夠支撐客戶應用場景穩定高效運轉,也為我們服務能力的構建和服務體系的建設提供了很多支持,並且有長期的研發投入與堅定的發展規劃。這些都是我們非常看重的重要因素。
面向金融核心場景,基於GaussDB打造遷移災備整體解決方案
過去的兩年多,掌數科技和華為雲GaussDB面向金融核心業務系統聯合打造了GaussDB完整配套軟體,形成全面的產品體系,包括容災備份一體化解決方案(Z-XCP)、數據遷移及持續複製軟體( Z-RPS )、GaussDB增值插件包 (Z-DB+);同時也面向客戶與合作伙伴打造了GaussDB技術支撐與服務軍團,包含售前面向行業客戶的金融創新解決方案,售中階段創新項目的實施落地,共同打造行業標桿,以及售後的專家支持與專業服務。
容災備份一體化解決方案(Z-XCP)以保護企業業務連續性為目標,可以一站式完成企業的“兩地三中心”容災體系建設和重要職能管理體系的部署,幫助客戶輕鬆應對GaussDB集群的容災、備份、監控以及開發/測試庫搭建等管理難題,通過更低成本、更高效的方式,滿足不同行業和業務場景下的數據安全性要求。
藉助該產品,掌數科技不僅可以納管原廠標準的GaussDB部署方案,自己也研發了一些符合行業應用需求的更靈活、更彈性的部署方案,讓客戶有更多選擇。
GaussDB增值插件包(Z-DB+)提供了更多個性化工具,重在解決資料庫之間互聯互通的難題。慢SQL語句跟蹤工具提供業務系統使用過程中慢SQL及執行計劃的監控功能,用於分析優化系統性能,解決業務改造過程中業務性能下降等用戶關切的問題;DBcopy工具支持GaussDB與原來異構資料庫之間超高速率的雙向複製,幫助企業快速完成遷移和同步;DBlink工具可以在遷移改造階段支持GaussDB資料庫與其他資料庫等異構資料庫之間的雙向實時訪問;高壓縮傳輸工具,具備廣域網下GaussDB高壓縮傳輸能力,滿足了證券行業客戶同城或異地機房在窄帶寬(如百兆網路)廣域網下的容災需求。
數據遷移及持續複製軟體( Z-RPS )支持系統的實時遷移、資料庫雙活容災、逃生通道保障(反向遷移),滿足了核心系統數據實時遷移、實時彙總與實時分發等需求。
在金融核心場景不斷落地,滿足客戶更多需求
在這些生態工具的加持下,該產品體系已經全面支撐證券、基金、銀行、保險、信托等金融行業科技創新,滿足了越來越多客戶的需求。
法人清算系統是我國證券公司的核心業務系統之一,在證券交易後的結算環節起到至關重要的作用。某中大型證券公司法人清算系統遷移面臨著幾大考驗:
數據量大:遷移數據以T為單位,不僅數據時間跨度長,數據質量還要求必須精確;
遷移頻度高:在數據測試和生產、雙軌和單軌運行等階段,都需要重新進行遷移比對,反覆的遷移導致不僅遷移頻度高,實施周期也較長;
異構資料庫遷移技術難度大:不同資料庫的存儲方式不同,欄位的類型、精度和長度不同,表結構也不同,還有空白字元、亂碼需特殊處理,都加大了異構遷移的難度。
掌數遷移方案對該系統的8000多張表進行了定製適配,內置了法人清算曆史庫和當前庫的數據同步和比對、異構數據特殊轉換模型和法人清算特殊處理,並且支持全量、增量、批量、指定表等多種模式的遷移,以及異常數據的校驗分析和按計劃定時遷移,最終快速完成了原資料庫與GaussDB資料庫之間的雙向遷移,遷移全程透明、可視化管理,並通過工具自動化輔助人工,完成了異構數據的比對校驗,實現了兩套系統多維度的數據準確性校驗,雙軌期間一直穩定運行。
某超大型保險公司養老核心系統的遷移也面臨著重要挑戰,需要在短時間內完成17TB數據的全量遷移,還存在亂碼數據及字元集問題,並且大量的表使用了clob、blob欄位,對增量遷移及後續的數據校驗帶來極大挑戰,特大表還存在不分區、無主鍵、無索引的問題,這些都提高了遷移的難度。掌數遷移方案用4天時間就完成了17TB的全量數據遷移,遷移速度保持線性趨勢,遷移後系統功能穩定無異常,有效相容了各類數據異常問題,並通過數據校驗功確保了所有數據準確一致。整個遷移高效、準確、穩定,比普通同步工具的遷移效率提升了100多倍。
某大型基金公司選擇了GaussDB的同城1AZ、異地1AZ的容災建設方案,又通過掌數容災備份一體化解決方案實現了多種靈活容災部署架構、高壓縮低帶寬異地容災、故障切換/災難恢復、演練切換/計劃停機的容災管理,全量與增量備份恢復,基於策略的自動化備份恢復,庫、模式、表的邏輯備份恢復,開發測試庫恢復和基於時間點恢復(PITR)的備份恢復機制,以及集群核心指標、資料庫核心指標、資料庫節點的監控管理,做到數據容災備份一體化管理,滿足了業務需求。
“在持續的演進和發展過程中,華為雲GaussDB的生態越來越成熟。掌數科技把自己定位為華為雲GaussDB生態中的一員,並致力於成為華為雲GaussDB生態中最優秀的服務商之一,未來將繼續展開深入合作,不斷完善華為雲GaussDB技術支撐與服務體系,站在金融角度打造行業實施的標桿案例,讓行業客戶更信任華為雲GaussDB,用好華為雲GaussDB。”高星說。