摘要：本文分析了分散式資料庫發展情況、分散式資料庫應用的主要問題，從行業應用的角度給出了分散式資料庫發展的建議。 本文分享自華為雲社區《數字化轉型下我國分散式資料庫應用挑戰及發展建議》，作者：資料庫領域科學家、華為雲資料庫GaussDB首席專家 馮柯。 當前，金融等重點行業都在進行數字化轉型，而分佈 ...
摘要：本文分析了分散式資料庫發展情況、分散式資料庫應用的主要問題，從行業應用的角度給出了分散式資料庫發展的建議。
本文分享自華為雲社區《數字化轉型下我國分散式資料庫應用挑戰及發展建議》，作者：資料庫領域科學家、華為雲資料庫GaussDB首席專家 馮柯。
當前，金融等重點行業都在進行數字化轉型，而分散式資料庫作為數據承載工具，為數字化轉型提供了有力的支撐。分散式資料庫近年來發展迅猛，在產品成熟度上有了很大提升，但在行業應用和生態建設上仍有很多挑戰。本文分析了分散式資料庫發展情況、分散式資料庫應用的主要問題，從行業應用的角度給出了分散式資料庫發展的建議。
一、發展情況
過去三十年，以金融業為代表的核心信息系統架構依托IOE（即IBM、Oracle、EMC）技術，構建了一套集中、專用、封閉的穩態技術體系。但是，隨著互聯網及雲化時代的到來，企業業務架構產生巨大變化，以銀行為代表的金融業需加速構建敏態體系，推動底層資料庫的分散式改造和互聯網金融業務創新。分散式資料庫具有滿足行業關鍵應用的高擴展性、高性能、高可用性及軟硬體解耦等特性，是金融等重點行業信息系統數字化轉型的基石。
（一）產品成熟度提升
隨著分散式資料庫在金融等重點行業的不斷應用，產品成熟度得到很大提升。一是新技術的不斷發展使得分散式資料庫在自身固有的優勢領域，如擴展性、高可用等方面進一步強化，已有多個應用在重點行業核心業務中落地。二是國產分散式資料庫的性能已經實現了與其他商業資料庫持平甚至超越，這在多個大型企業機構產品準入測試及業內國際基準測試（如線上交易場景TPCC、線上分析場景TPCH等）中得到充分證明，可對行業核心業務起到重要的支撐作用。三是更多廠商開始提供對主流國產分散式資料庫的功能支持，產品的相容性取得顯著進展。管理控制軟體、遷移工具等配套設施逐漸完善，極大地降低了資料庫的使用門檻和遷移成本。
（二）生態逐步完善
一是加快推動分散式資料庫在重點行業落地，主流分散式資料庫廠商紛紛與眾多大型銀行、企業等開展聯合創新活動，取得了許多突破性的成果。以某廠商的分散式資料庫為例，在與大型商業銀行的聯創過程中，已完成10個以上業務系統的分散式資料庫替換，覆蓋銀行A類到C類全場景業務。二是通過一站式的遷移解決方案，實現以較小的業務改造工作量從傳統資料庫向分散式資料庫轉型，遷移成本相對較低。而且使用分散式資料庫後，業務系統運行穩定，可靠性和擴展性有所增強，從各項指標看，已基本具備承接Oracle及DB2大機下移的能力。三是分散式資料庫相關的行業標準和評價體系逐步健全，對產品發展起到較強的規範引領作用。
（三）總體發展情況向好
當前國產分散式資料庫已經渡過了“能用”階段，正在邁向“好用、易用”階段。橫向來看，我國分散式資料庫的發展基本與國際同步，tpcc、sysbench等性能指標和RTO、RPO等可靠性指標甚至具有優勢，在應用領域取得些許領先。縱向來看，以金融業為例，分散式資料庫應用取得較大進展，不管是在互聯網新核心業務，還是傳統核心業務中，分散式資料庫行業應用落地數量大幅增加，有逐步替代集中式資料庫的趨勢。
二、面臨的主要問題
（一）主體改造意願不強，行業實踐尚不充分
一方面，原有資料庫系統改造為分散式資料庫，對用戶及應用單位提出了較高的要求。改造所面臨的成本問題，以及改造完成後分散式運維實施的複雜性，使得部分金融機構對於全面應用分散式還存在有一定的疑慮，主動改造意願不強。另一方面，分散式資料庫在行業典型應用場景中的落地仍處於摸索階段。由於部分項目中存在一定的需求定製化，應用解決方案與產品的邊界不夠清晰，產品的規模化複製能力仍有待加強，行業最佳實踐相對缺乏。這些因素也影響了金融機構對遷移採用分散式資料庫技術的積極性。
（二）分散式資料庫的生態建設仍需加強
生態建設是當前我國基礎軟體相對薄弱的一環，特別是對分散式資料庫廠商而言，雖然在實現技術和產品方面實現突破，但在生態建設方面仍需積極應對投入轉化慢、門檻高、市場接受程度低等挑戰。一方面，部分產品的技術體系相對封閉，用戶無法從市場快速獲取合格的開發運維人員，導致業務改造及生產運維仍嚴重依賴原廠，規模化複製效應較差。另一方面，部分產品的開放性仍有待提升，與其他平臺數據互聯互通的能力不足在客觀上造成了業務“上車容易下車難”的現實困境，增加了用戶被鎖定的風險。
（三）可持續發展的盈利模式需進一步探索
我國資料庫的發展可以追溯到30多年前，在這樣一個相對較長的發展周期內，技術和產品都取得了顯著進展，但在產業化方面，知識產權的保護不夠充分等諸多問題造成部分參與主體的市場化盈利能力較弱，產業整體規模難以做大。分散式資料庫雖然已取得了一定進展，但“池子深才能養大魚”，如何依托當前政策視窗，真正形成可持續發展的商業模式，還需進一步探討。
三、行業的應用建議
儘管存在一些問題，但我們堅信分散式是資料庫未來的發展趨勢。如果將分散式資料庫和單機資料庫類比為“高鐵”和“轎車”，因兩者定位不同，期望“高鐵”像“轎車”一樣簡單易用既不現實也不科學。所以應避免將分散式資料庫的應用簡單地理解為對單機或者集中式資料庫的一對一替換，而要深入考慮如何充分發揮分散式資料庫的技術優勢。遵循以上思路，我們對於分散式資料庫在金融等重點行業的應用提出以下幾點建議：
（一）通過技術創新和最佳實踐，推動行業應用不斷深入
一方面，要探索利用人工智慧等新技術提升產品服務效能。
人工智慧技術可實現自動數據分區規劃、故障自動診斷和自愈、自動負載均衡、面向混合負載的自調優等功能。目前人工智慧技術在分散式場景已經有了一些單點突破，但距離全場景落地、實現整體成本的全面降低還有很長的一段路要走，需要繼續加以積極的行業引導，推進技術交流和產業落地。
另一方面，需充分發揮好示範項目效應。
在金融等重點行業典型應用場景如分散式架構設計、多地多中心容災等，形成最佳解決方案，併在行業推廣落地。在此過程中，提煉出更適合分散式資料庫的開發、運維、硬體建設等相關要求，研究制定資料庫開發、運維、應用方面的標準規範，提高行業的標準化水平，引導各參與主體規範應用分散式資料庫，推進行業轉型。同時應約束不必要的定製化需求，減少無序競爭，實現技術聚焦。
（二）積極推進生態建設，發揮產業引領作用
從軟體發展歷史看，生態建設是基礎軟體產業化的重要一環。任何一款商業上真正成功的軟體產品，無一不是生態建設上獲得廣泛認可的成功案例。
首先，充分發揮產業聯盟橋梁紐帶作用，推動產業發展。在行業內積極進行資源引流，逐步提升技術營運效率及影響力，搭建高端對話平臺，促進分散式資料庫應用方、應用開發方及廠商更好地交流，共同面對分散式轉型下的業務及技術挑戰，推進行業生態繁榮；加強與分散式中間件、分散式服務框架的合作與交流，通過開源、社區等形式建立廣泛的賦能體系；鼓勵應用軟體廠商全面向分散式架構轉型，建立相應的培訓體系和檢測認證體系。
其次，完善技術生態，鼓勵引入第三方軟體垂直提供商。在運維管控、工具端以及解決方案層面實現更多差異化的平臺能力，加厚行業整體的技術底盤；鼓勵第三方產品服務化和上下游集成，推進各產品的互聯互通，打造良好技術生態，促進行業健康發展。
再次，建立基礎軟體開放生態體系，推動開源建設。應鼓勵有研發實力的廠商基於國產開源資料庫做發行商，有運維能力的廠商基於優質的國產資料庫打造適用於自主可控要求的資料庫解決方案。資料庫廠商和合作伙伴應基於資料庫代碼開源、產品開放等形式，使資料庫產業從封閉商業生態走向產業共贏的開放生態，共同打造開放的資料庫生態體系。
最後，進一步推進政產學研合作，加強人才儲備。明確人才發展戰略，梳理多層次行業人才資源地圖。加強廠商與各科研院所合作，推進高校在包括資料庫在內的基礎軟體方面專業投入，鼓勵有條件的廠商和高校開展課程共建、實踐共建，為聯合推進分散式資料庫關鍵技術在理論和實踐層面的難點問題攻關儲備智力資源。
（三）全面擁抱雲，開展行業可持續發展的嘗試與探索
資料庫上雲已逐步成為產業共識。發展雲資料庫，不僅是對技術和產品的重要升級，更是對資料庫良性健康發展的商業模式有益探索，對於實現主體可控、支撐行業長期穩定發展具有重要的現實意義。分散式資料庫與單機資料庫不同，需要更大的集群規模才能實現資源的更有效利用。分散式資料庫與雲計算是天然伴生關係，通過雲化部署，能夠幫助分散式資料庫揚長避短，充分發揮分散式資料庫在擴展性、資源調度方面的靈活性和優勢，在提升資源利用效率同時，顯著降低運維成本，實現真正業務價值。
一是雲化基礎設施可以通過智能調度、運維繫統高效管理更為豐富的應用，並通過多雲及邊緣計算將應用擴展到多種場景中。
二是軟硬協同可為應用提供更好的性能，提升應用隔離性等。
三是雲資料庫和雲基礎設施結合，如利用雲基礎設施本身的能力實現資料庫的跨數據中心訪問等，可使存儲具備理解、預處理資料庫語義的能力。
基於以上，一是建議擴大雲資料庫在金融行業的應用規模。
雲資料庫已經在互聯網、電子政務等各行業得到了廣泛應用，在金融行業的應用及推廣也在穩步推進中。應引導重點用戶單位與廠商嘗試在行業落地雲資料庫及雲平臺，鼓勵技術共創，共同探索基於現代雲平臺的分散式資料庫運維及業務開發體系。
二是建議推進行業雲發展以提高行業標準化程度。
在滿足合規營運的前提下，應實現底層基礎設施共用，降低中小用戶對於分散式資料庫的使用門檻和人才需求，減少重覆投資，實現集約化營運，充分發揮分散式資料庫的規模化優勢。釐清各參與主體運營職責與邊界，依托業內現有的成熟雲平臺技術，形成一個或若幹個雲技術底座，鼓勵傳統非雲資料庫廠商根據自身產品技術特點完成與雲平臺的對接，最終形成行業的雲上產品集市，逐步簡化並統一運維及交付界面，降低行業應用門檻，提高行業標準化程度。
