騰訊雲資料庫|一文解讀沙利文2021年中國分散式資料庫市場報告

来源:https://www.cnblogs.com/tencentdb/archive/2022/06/01/16335805.html
-Advertisement-
Play Games

國際知名調研機構沙利文聯合頭豹研究院發佈了《2021年中國分散式資料庫市場報告》,報告顯示:**騰訊雲資料庫入選Frost Radar (弗若斯特雷達)領導者象限,增長指數排名第一。**為幫助廣大資料庫愛好者進一步瞭解報告內容,洞察資料庫發展趨勢,騰訊雲資料庫邀請沙利文中國高級分析師胡竣傑解讀最新報 ...


國際知名調研機構沙利文聯合頭豹研究院發佈了《2021年中國分散式資料庫市場報告》,報告顯示:騰訊雲資料庫入選Frost Radar (弗若斯特雷達)領導者象限,增長指數排名第一。為幫助廣大資料庫愛好者進一步瞭解報告內容,洞察資料庫發展趨勢,騰訊雲資料庫邀請沙利文中國高級分析師胡竣傑解讀最新報告。以下為解讀視頻及文字實錄:

https://v.qq.com/x/page/k33393rvps6.html

大家好,我是沙利文高級分析師胡竣傑,我將從四個方面的內容解讀沙利文最新發佈的2021年中國分散式資料庫市場報告,分別為:中國分散式資料庫的行業綜述、分散式資料庫技術發展概覽、分散式資料庫市場分析、中國分散式資料庫市場競爭態勢。

一、中國分散式資料庫行業綜述

首先是中國分散式資料庫的行業綜述。資料庫作為大多數信息系統的基礎設施,向下發揮硬體算力,向上支持上層應用,本質上是IT行業大廈的地基,也可以說是引擎,更是開發者的必備武器。而資料庫的速度、易用性、穩定性、擴展性、成本等對企業的基礎業務以及增長彈性至關重要。就在資料庫誕生之後,整個應用程式快速爆發,成為了電腦發展史上的革命。

資料庫系統的定義:按照特定的數據結構組織來存儲和管理數據的基礎軟體。

我們這次報告的主題分散式資料庫,定義是如何用電腦網路將物理上分散的多個資料庫單元連接起來,並組成一個邏輯上統一的資料庫。

當前整個資料庫行業中有非常多樣的資料庫分類,本篇報告是從分散式架構的視角出發,多方位關註資料庫行業的前沿動向,除了架構模型,報告還會關註到部署模型(比如雲部署)、業務負載(比如HTAP)等方面的發展。

file

資料庫已經經歷了半個多世紀的發展,實現了學術界驅動、商業化落地、論文工業實現和企業應用需求驅動等。在技術發展的階段,從一開始層面模型,網狀模型,關係模型到對象模型,甚至還有半結構化等,數據模型一直都是資料庫的核心和理論基礎,而扎實的理論支撐和邏輯獨立性,未來仍然將會是資料庫的根本。當前雲+分散式已經成為了企業極限需求的唯一解決方案,並造就了當前資料庫行業的爆發期。其實在整個行業周期中,圍繞市場的先進產品與技術才具備核心競爭優勢。

file

當前中國資料庫的發展其實受益於人口紅利,產學研的首要是技術創新,需要一個先進的學術研究體系進行產研結合,也需要緊密的產業交流和行業滲透,更需要緊跟時代需求的人才培訓體系。

學研申請論文的數量角度來看,中國分散式資料庫領域的論文申請量已經超越了美國,有頂級學術會議和高校企業構成的中國資料庫學術支撐體系,將持續向整個資料庫產業創新和人才培養輸送活力。

file

專利申請數量角度來看,中國分散式資料庫相關的專利申請量,從2012年的全球占比22%,到2021年已經爬升到76%中國已經成為了全球分散式資料庫的技術創新中心,而北京和廣東兩地聚集較多的分散式資料庫的先進廠商,累計的分散式資料庫專利申請量在全國領先。分散式資料庫的創新建立在對資料庫技術的研究和應用積累,針對分散式資料庫的關鍵板塊包括了分散式計算、負載均衡控制系統、分散式存儲等這些副主題,它們的熱度已經凸顯。

file

二、分散式資料庫技術發展概覽

目前分散式資料庫的技術路線選擇都是以解決數據容量擴展問題為首要目標,主要方案又分為分庫分表、中間件、原生分散式等,不同的技術路線及產品各有優劣。

先來看分庫分表加中間件,方案其實是由下層的單機資料庫提供存儲和執行能力,在多個單機資料庫上封裝了一層中間層來補充分散式能力,統一數據分片規則,管理分佈在不同資料庫節點的數據,並提供SQL解析來請求轉發和結果合併。該方案的優勢在於可以利用現有的成熟穩定的開源資料庫實現高性能、低成本和穩定性,用戶門檻也低。同時劣勢也很明顯,能力上限比較低,但是架構下限比較高,導致sharding的拆分成本較高,底層架構又不具備分散式能力,中間件通訊以及單體資料庫功能受限,存在明顯的擴展性瓶頸。TDSQL MySQL版就是基於這樣的分散式資料庫架構實現的。

第二種是共用存儲的分散式資料庫,方案是計算節點獨立並且共用一個不帶計算功能的存儲集群,也叫shared-storage。數據存儲的底層是可動態擴展的分散式高性能存儲,存算分離架構,計算層和存儲層都可以實現動態擴縮容。並且這些分散式資料庫都會通過網路和存儲層的優化來保證高可用和高性能,優勢在於事務性能優、讀寫性能最快,最大程度提升了寫入容量的限制,劣勢在於架構可改造性低,依賴共用存儲系統,但是一致性較低。TDSQL-C就是基於這個版本的。

最後一種是去中心化的分散式資料庫,方案是每個節點都有獨立的計算和存儲功能,並且節點之間不共用數據。為了平滑的擴縮容採用了存算分離的架構,分散式集群的每個節點都是獨立的節點,通過這個multi-paxos或者multi-raft等共識演算法來保證多副本的可用性。優勢在於架構解耦性、高相容性、高可移植部署性、高一致性和高可用性,劣勢在於它有較高的硬體要求,分散式事務鎖等機制以至於多寫性能低。

file

接著再看HTAP的特性。雲時代是由雲計算、霧計算、邊緣計算來共同構成的基礎設施,但是三者又不盡相同。雲計算是集中式計算,霧計算具有層次性,邊緣計算則是依賴於不構成網路的單獨的節點。目前的雲資料庫都是以雲計算為底,並且在持續發展中,而雲計算、霧計算、邊緣計算對資料庫提出了數據存儲管理、計算交換等方面的差異化需求,未來資料庫的類型和形態也將不斷的演進,以適配不同類型的應用。

資料庫上雲也呈現出了從雲托管到雲原生的發展趨勢。起初資料庫上雲藉助了基礎設施即服務,直接將傳統資料庫托管在雲上,在遷移上雲的過程中需要對性能等做出妥協,存在資源利用率低,維護成本高而可用性低等問題。於是,相比於遷移資料庫上雲,在雲上建設資料庫服務,設計出以基礎雲先行,從應用、中間件、資料庫服務全線適應雲特點的雲原生資料庫尤為重要。

在雲原生資料庫的實踐當中,動態資源池從虛擬機到容器技術都是在細化隔離進程資源,從而實現資源的有效利用,充分發揮雲服務的彈性優勢。雲原生Cloud-native,其實是對服務本身的描述,比如資料庫作為服務的擴展能力、容錯能力、交付能力等。雲原生資料庫本質也就是利用現有的技術組合來實現雲原生需求,這也是資料庫實現Serverless的必經之路。

file

HTAP是混合事務和分析處理,是OLTP和OLAP之間的間隔,使分佈資料庫既可以應用於事務型資料庫的場景,又可以應用於分析類的資料庫場景,滿足實時業務決策的需求。

HTAP能夠讓數據產生後馬上進入分析場景,但它面臨的最大問題是如何將TP和AP這兩類互斥的工作負載放在一個更高的系統上運行,並且實現資源干擾小數據可見度高而且延時短。目前HTAP又分為兩種方案,分離架構統一架構,分離架構是目前主流方案,趨勢中雲原生架構環境和HTAP系統的融合,將衍生新的HTAP產品方案和技術特征。

file

三、分散式資料庫市場分析

分散式資料庫技術的發展需要滿足時代和市場的需求,回歸資料庫用戶的剛性需求。資料庫用戶的剛性需求集中在這七點:

第一點是可控的數據安全。在報告中,資料庫安全與加密能力的這一篇章中有提到如何確保鏈路安全和資料庫存儲安全。目前的技術有多種,有表加密,傳輸加密、透明加密,還有全密態技術,全密態又分為純軟和純硬兩個思路,現在提供全密態數據處理有包括騰訊雲在內的很多廠商。

第二點是應用透明的極致高可用。其實這個需求貫穿了整個資料庫的發展史,高可用的實現方式已經非常多樣,其實就是雲部署的方向和分散式架構的發展,過去是從單點架構到集中式主備,現在已經實現了雲原生化的多主多備的分散式架構,繼續去中心化來實現極致的高可用。

第三點是靈活承載不同業務場景的動態擴展能力和自適應能力,這一點就是前面講到的HTAP技術所解決的核心痛點。

第四點是性價比高的通用硬體和操作系統,這是剛需。其實分散式資料庫就很好地滿足了這個需求,通過便宜的X86集群來取代昂貴的大型機。

第五點是實現企業級的SLA保障,目前很多雲資料庫廠商已經能夠做到高於99.99%的SLA達成率。

第六點是簡單易用,目前上雲的趨勢以及資料庫即服務DBaaS的產品服務都是為了讓終端用戶免除對資料庫的基礎設施和架構的煩惱,關註業務應用本身。

第七點是能夠不斷改造適應新的硬體結構,這裡要提到新硬體的發展,放在當下就是資料庫本身能否支持異構計算,比如ARM架構等等,能否將算力和存儲的資源使用率提高,朝綠色計算發展。從這個需求要素可以看到,不同行業的資料庫用戶有不同核心數據業務的特點和需求,同時其所在行業有著各不相同的IT監管環境、數據業務複雜性、成本敏感性、IT能力存儲情況等特點。尤其在傳統行業,如交通、物流、政務等,過去都是以集中式架構為主,在數字化轉型以及分散式架構遷移計劃之上,目前分散式資料庫需要在各個維度上達到集中式架構產品的水平才能在各個場景上發揮其性能還有成本優勢。

file

下圖為沙利文根據調研結果製作的應用落地場景的企業圖譜,圖中展示了來自互聯網、電信、交通、物流、電子政務、醫療、製造、能源等行業領域的提供分散式資料庫及衍生服務,並具備一定領先技術或服務優勢的中國資料庫代錶廠商佈局態勢,從圖上可看出中國資料庫廠商呈現差異化佈局。但是在未來的落地場景格局上,頭部效應將愈加明顯,領先的廠商會將覆蓋大多數行業,併在不同深度的場景服務上全面佈局其分散式資料庫的遷移改造解決方案。

file

file

四、中國分散式資料庫市場競爭態勢

中國分散式資料庫的市場競爭態勢是整篇報告的重點。沙利文對分散式資料庫的創新指數評估體系,圍繞了分散式架構能力、資料庫管理創新能力和雲能力三大一級指標,設立了14個二級指標和78個三級指標。分散式資料庫的增長指數圍繞了相容性評估、可擴展性評估,開源、產業影響力和行業解決方案等七大一級指標來設立了12個二級指標,99個三級指標來得出的調研結果。

file

給大家解讀一下Frost Radar,縱坐標代表了增長指數,它衡量的是競爭主體在資料庫增長維度的競爭力。位置越靠上方,資料庫的基礎及性能水平、服務生態水平、行業解決方案等積累水平就越強。而橫坐標代表的是創新能力,衡量的是競爭主體在資料庫創新維度的競爭力。位置越靠右側,資料庫的分散式架構能力、資料庫管理創新能力和雲能力越強。騰訊雲資料庫在2021年的分散式資料庫Frost Radar中,入圍的是領導者象限,在2021年,騰訊雲資料庫的增長指數的排名第一,在創新指數上排名第三。

file

騰訊雲自研企業級分散式資料庫TDSQL從2007年就開始內部孵化,源於騰訊金融業務,對內服務了微信支付、騰訊會議等業務。騰訊2021年Q3財報上顯示,TDSQL服務橫跨金融、公共服務和電信等多個垂直領域,超過3000家客戶。在產品架構上,TDSQL提供了事務型、雲原生、分析型等多種產品架構,具備智能運維平臺,Serverless版本等標準統一的產品服務方案,支持了第七次全國人口普查來實現全面電子化。基於沙利文的調研結果,騰訊雲TDSQL是中國分散式資料庫的領導者。

file


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、前言 小編最近公司有個新的需求,數據量比較大,要涉及到分庫分表。大概瞭解了一些主流的中間件,使用和網上資料比較多的是Mycat和sharding-jdbc,小編比較傾向於Mycat。原因很簡單就是參考的資料比較多,教學比較多,小編經過一天的嘗試,終於完成了!這篇主要是實戰,一些知識點請自行百度, ...
  • 介紹 Elastic Stack 是一個可以幫助我們構建搜索體驗、解決問題並取得成功的搜索平臺。核心產品包括 Elasticsearch、Kibana、Beats 和 Logstash(也稱為 ELK Stack)等等。能夠安全可靠地獲取任何來源、任何格式的數據,然後實時地對數據進行搜索、分析和可視 ...
  • 一、開發背景 產品出設計稿要求做一個仿原生app簡訊驗證碼組件,花了兩小時搞出來一個還可以的組件,支持屏幕自適應,可以用於彈出框,或自己封裝的vue組件里,希望可以幫助那些被產品壓榨的同學,哈哈。😄 其核心思想就是利用一個輸入框使用css3,translate屬性,每輸入一次後向右位移一個單位位置 ...
  • 文件上傳和導入 控制器代碼 [Route("api/[controller]")] [ApiController] public class UpdController : ControllerBase { private readonly IWebHostEnvironment env; priv ...
  • 為什麼要使用Vuepress VuePress由兩部分組成:一個極簡的靜態站點生成器,帶有一個vue支持的主題系統和Plugin API,以及一個為編寫技術文檔而優化的預設主題。創建它是為了支持Vue自己的子項目的文檔需求。 由VuePress生成的每個頁面都有自己的預渲染靜態HTML,提供了良好的 ...
  • 本文例子參考《STM32單片機開發實例——基於Proteus虛擬模擬與HAL/LL庫》 源代碼:https://github.com/LanLinnet/STM33F103R6 項目要求 理解H橋電路的工作原理,結合前面幾個項目學習過的PWM、EXTI、串口通訊等,要求通過5個按鈕控制直流電動機的運 ...
  • which whereis locate which 查看可執行文件的位置。 whereis 查看文件的位置。 locate 配合資料庫查看文件位置。 which 查找環境變數中的文件 which 命令用於查找並顯示給定命令的絕對路徑,環境變數 PATH 中保存了查找命令時需要遍歷的目錄。which ...
  • 4月14日,騰訊雲資料庫備份服務DBS(Database Backup Service)正式發佈,旨在助力企業實現一站式備份混合雲資料庫。 DBS是一款高可用、低成本的數據備份產品,支持實時增量備份以及快速數據恢復,為多種部署形態的資料庫提供強有力的保護,可以應用於異地容災備份、跨雲廠商備份、IDC ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...