國際知名調研機構沙利文聯合頭豹研究院發佈了《2021年中國分散式資料庫市場報告》,報告顯示:**騰訊雲資料庫入選Frost Radar (弗若斯特雷達)領導者象限,增長指數排名第一。**為幫助廣大資料庫愛好者進一步瞭解報告內容,洞察資料庫發展趨勢,騰訊雲資料庫邀請沙利文中國高級分析師胡竣傑解讀最新報 ...
國際知名調研機構沙利文聯合頭豹研究院發佈了《2021年中國分散式資料庫市場報告》,報告顯示:騰訊雲資料庫入選Frost Radar (弗若斯特雷達)領導者象限,增長指數排名第一。為幫助廣大資料庫愛好者進一步瞭解報告內容,洞察資料庫發展趨勢,騰訊雲資料庫邀請沙利文中國高級分析師胡竣傑解讀最新報告。以下為解讀視頻及文字實錄:
https://v.qq.com/x/page/k33393rvps6.html
大家好,我是沙利文高級分析師胡竣傑,我將從四個方面的內容解讀沙利文最新發佈的2021年中國分散式資料庫市場報告,分別為:中國分散式資料庫的行業綜述、分散式資料庫技術發展概覽、分散式資料庫市場分析、中國分散式資料庫市場競爭態勢。
一、中國分散式資料庫行業綜述
首先是中國分散式資料庫的行業綜述。資料庫作為大多數信息系統的基礎設施,向下發揮硬體算力,向上支持上層應用,本質上是IT行業大廈的地基,也可以說是引擎,更是開發者的必備武器。而資料庫的速度、易用性、穩定性、擴展性、成本等對企業的基礎業務以及增長彈性至關重要。就在資料庫誕生之後,整個應用程式快速爆發,成為了電腦發展史上的革命。
資料庫系統的定義:按照特定的數據結構組織來存儲和管理數據的基礎軟體。
我們這次報告的主題分散式資料庫,定義是如何用電腦網路將物理上分散的多個資料庫單元連接起來,並組成一個邏輯上統一的資料庫。
當前整個資料庫行業中有非常多樣的資料庫分類,本篇報告是從分散式架構的視角出發,多方位關註資料庫行業的前沿動向,除了架構模型,報告還會關註到部署模型(比如雲部署)、業務負載(比如HTAP)等方面的發展。
資料庫已經經歷了半個多世紀的發展,實現了學術界驅動、商業化落地、論文工業實現和企業應用需求驅動等。在技術發展的階段,從一開始層面模型,網狀模型,關係模型到對象模型,甚至還有半結構化等,數據模型一直都是資料庫的核心和理論基礎,而扎實的理論支撐和邏輯獨立性,未來仍然將會是資料庫的根本。當前雲+分散式已經成為了企業極限需求的唯一解決方案,並造就了當前資料庫行業的爆發期。其實在整個行業周期中,圍繞市場的先進產品與技術才具備核心競爭優勢。
當前中國資料庫的發展其實受益於人口紅利,產學研的首要是技術創新,需要一個先進的學術研究體系進行產研結合,也需要緊密的產業交流和行業滲透,更需要緊跟時代需求的人才培訓體系。
從學研申請論文的數量角度來看,中國分散式資料庫領域的論文申請量已經超越了美國,有頂級學術會議和高校企業構成的中國資料庫學術支撐體系,將持續向整個資料庫產業創新和人才培養輸送活力。
從專利申請數量角度來看,中國分散式資料庫相關的專利申請量,從2012年的全球占比22%,到2021年已經爬升到76%。中國已經成為了全球分散式資料庫的技術創新中心,而北京和廣東兩地聚集較多的分散式資料庫的先進廠商,累計的分散式資料庫專利申請量在全國領先。分散式資料庫的創新建立在對資料庫技術的研究和應用積累,針對分散式資料庫的關鍵板塊包括了分散式計算、負載均衡控制系統、分散式存儲等這些副主題,它們的熱度已經凸顯。
二、分散式資料庫技術發展概覽
目前分散式資料庫的技術路線選擇都是以解決數據容量擴展問題為首要目標,主要方案又分為分庫分表、中間件、原生分散式等,不同的技術路線及產品各有優劣。
先來看分庫分表加中間件,方案其實是由下層的單機資料庫提供存儲和執行能力,在多個單機資料庫上封裝了一層中間層來補充分散式能力,統一數據分片規則,管理分佈在不同資料庫節點的數據,並提供SQL解析來請求轉發和結果合併。該方案的優勢在於可以利用現有的成熟穩定的開源資料庫實現高性能、低成本和穩定性,用戶門檻也低。同時劣勢也很明顯,能力上限比較低,但是架構下限比較高,導致sharding的拆分成本較高,底層架構又不具備分散式能力,中間件通訊以及單體資料庫功能受限,存在明顯的擴展性瓶頸。TDSQL MySQL版就是基於這樣的分散式資料庫架構實現的。
第二種是共用存儲的分散式資料庫,方案是計算節點獨立並且共用一個不帶計算功能的存儲集群,也叫shared-storage。數據存儲的底層是可動態擴展的分散式高性能存儲,存算分離架構,計算層和存儲層都可以實現動態擴縮容。並且這些分散式資料庫都會通過網路和存儲層的優化來保證高可用和高性能,優勢在於事務性能優、讀寫性能最快,最大程度提升了寫入容量的限制,劣勢在於架構可改造性低,依賴共用存儲系統,但是一致性較低。TDSQL-C就是基於這個版本的。
最後一種是去中心化的分散式資料庫,方案是每個節點都有獨立的計算和存儲功能,並且節點之間不共用數據。為了平滑的擴縮容採用了存算分離的架構,分散式集群的每個節點都是獨立的節點,通過這個multi-paxos或者multi-raft等共識演算法來保證多副本的可用性。優勢在於架構解耦性、高相容性、高可移植部署性、高一致性和高可用性,劣勢在於它有較高的硬體要求,分散式事務鎖等機制以至於多寫性能低。
接著再看HTAP的特性。雲時代是由雲計算、霧計算、邊緣計算來共同構成的基礎設施,但是三者又不盡相同。雲計算是集中式計算,霧計算具有層次性,邊緣計算則是依賴於不構成網路的單獨的節點。目前的雲資料庫都是以雲計算為底,並且在持續發展中,而雲計算、霧計算、邊緣計算對資料庫提出了數據存儲管理、計算交換等方面的差異化需求,未來資料庫的類型和形態也將不斷的演進,以適配不同類型的應用。
資料庫上雲也呈現出了從雲托管到雲原生的發展趨勢。起初資料庫上雲藉助了基礎設施即服務,直接將傳統資料庫托管在雲上,在遷移上雲的過程中需要對性能等做出妥協,存在資源利用率低,維護成本高而可用性低等問題。於是,相比於遷移資料庫上雲,在雲上建設資料庫服務,設計出以基礎雲先行,從應用、中間件、資料庫服務全線適應雲特點的雲原生資料庫尤為重要。
在雲原生資料庫的實踐當中,動態資源池從虛擬機到容器技術都是在細化隔離進程資源,從而實現資源的有效利用,充分發揮雲服務的彈性優勢。雲原生Cloud-native,其實是對服務本身的描述,比如資料庫作為服務的擴展能力、容錯能力、交付能力等。雲原生資料庫本質也就是利用現有的技術組合來實現雲原生需求,這也是資料庫實現Serverless的必經之路。
HTAP是混合事務和分析處理,是OLTP和OLAP之間的間隔,使分佈資料庫既可以應用於事務型資料庫的場景,又可以應用於分析類的資料庫場景,滿足實時業務決策的需求。
HTAP能夠讓數據產生後馬上進入分析場景,但它面臨的最大問題是如何將TP和AP這兩類互斥的工作負載放在一個更高的系統上運行,並且實現資源干擾小數據可見度高而且延時短。目前HTAP又分為兩種方案,分離架構和統一架構,分離架構是目前主流方案,趨勢中雲原生架構環境和HTAP系統的融合,將衍生新的HTAP產品方案和技術特征。
三、分散式資料庫市場分析
分散式資料庫技術的發展需要滿足時代和市場的需求,回歸資料庫用戶的剛性需求。資料庫用戶的剛性需求集中在這七點:
第一點是可控的數據安全。在報告中,資料庫安全與加密能力的這一篇章中有提到如何確保鏈路安全和資料庫存儲安全。目前的技術有多種,有表加密,傳輸加密、透明加密,還有全密態技術,全密態又分為純軟和純硬兩個思路,現在提供全密態數據處理有包括騰訊雲在內的很多廠商。
第二點是應用透明的極致高可用。其實這個需求貫穿了整個資料庫的發展史,高可用的實現方式已經非常多樣,其實就是雲部署的方向和分散式架構的發展,過去是從單點架構到集中式主備,現在已經實現了雲原生化的多主多備的分散式架構,繼續去中心化來實現極致的高可用。
第三點是靈活承載不同業務場景的動態擴展能力和自適應能力,這一點就是前面講到的HTAP技術所解決的核心痛點。
第四點是性價比高的通用硬體和操作系統,這是剛需。其實分散式資料庫就很好地滿足了這個需求,通過便宜的X86集群來取代昂貴的大型機。
第五點是實現企業級的SLA保障,目前很多雲資料庫廠商已經能夠做到高於99.99%的SLA達成率。
第六點是簡單易用,目前上雲的趨勢以及資料庫即服務DBaaS的產品服務都是為了讓終端用戶免除對資料庫的基礎設施和架構的煩惱,關註業務應用本身。
第七點是能夠不斷改造適應新的硬體結構,這裡要提到新硬體的發展,放在當下就是資料庫本身能否支持異構計算,比如ARM架構等等,能否將算力和存儲的資源使用率提高,朝綠色計算發展。從這個需求要素可以看到,不同行業的資料庫用戶有不同核心數據業務的特點和需求,同時其所在行業有著各不相同的IT監管環境、數據業務複雜性、成本敏感性、IT能力存儲情況等特點。尤其在傳統行業,如交通、物流、政務等,過去都是以集中式架構為主,在數字化轉型以及分散式架構遷移計劃之上,目前分散式資料庫需要在各個維度上達到集中式架構產品的水平才能在各個場景上發揮其性能還有成本優勢。
下圖為沙利文根據調研結果製作的應用落地場景的企業圖譜,圖中展示了來自互聯網、電信、交通、物流、電子政務、醫療、製造、能源等行業領域的提供分散式資料庫及衍生服務,並具備一定領先技術或服務優勢的中國資料庫代錶廠商佈局態勢,從圖上可看出中國資料庫廠商呈現差異化佈局。但是在未來的落地場景格局上,頭部效應將愈加明顯,領先的廠商會將覆蓋大多數行業,併在不同深度的場景服務上全面佈局其分散式資料庫的遷移改造解決方案。
四、中國分散式資料庫市場競爭態勢
中國分散式資料庫的市場競爭態勢是整篇報告的重點。沙利文對分散式資料庫的創新指數評估體系,圍繞了分散式架構能力、資料庫管理創新能力和雲能力三大一級指標,設立了14個二級指標和78個三級指標。分散式資料庫的增長指數圍繞了相容性評估、可擴展性評估,開源、產業影響力和行業解決方案等七大一級指標來設立了12個二級指標,99個三級指標來得出的調研結果。
給大家解讀一下Frost Radar,縱坐標代表了增長指數,它衡量的是競爭主體在資料庫增長維度的競爭力。位置越靠上方,資料庫的基礎及性能水平、服務生態水平、行業解決方案等積累水平就越強。而橫坐標代表的是創新能力,衡量的是競爭主體在資料庫創新維度的競爭力。位置越靠右側,資料庫的分散式架構能力、資料庫管理創新能力和雲能力越強。騰訊雲資料庫在2021年的分散式資料庫Frost Radar中,入圍的是領導者象限,在2021年,騰訊雲資料庫的增長指數的排名第一,在創新指數上排名第三。
騰訊雲自研企業級分散式資料庫TDSQL從2007年就開始內部孵化,源於騰訊金融業務,對內服務了微信支付、騰訊會議等業務。騰訊2021年Q3財報上顯示,TDSQL服務橫跨金融、公共服務和電信等多個垂直領域,超過3000家客戶。在產品架構上,TDSQL提供了事務型、雲原生、分析型等多種產品架構,具備智能運維平臺,Serverless版本等標準統一的產品服務方案,支持了第七次全國人口普查來實現全面電子化。基於沙利文的調研結果,騰訊雲TDSQL是中國分散式資料庫的領導者。