業務上雲的大背景對彈性與可靠性的要求越來越高,傳統架構的單機資料庫或是分片資料庫已經很難支撐快速增長的業務,如何解決這些痛點呢?一起來聽聽百度雲原生資料庫資深技術專家邱學達怎麼說。 ...
分享嘉賓:邱學達
百度雲原生資料庫資深技術專家
整理:墨天輪社區
導讀
業務上雲的大背景對彈性與可靠性的要求越來越高,傳統架構的單機資料庫或是分片資料庫已經很難支撐快速增長的業務,導致單機瓶頸、擴容縮量、故障恢復慢、相容性、資源利用率低等一系列的問題顯現,同時單機時代資料庫的的缺點會在雲上高倍率放大。
基於這些痛點,墨天輪技術社區邀請到來自百度雲資料庫資深技術專家,擁有多年資料庫與分散式存儲開發經驗的嘉賓邱學達,為大家帶來【GaiaDB架構解析及互聯網應用案例】的主題分享,談談雲原生資料庫GaiaDB如何解決雲上場景的業務需求。
GaiaDB是什麼?
1、 GaiaDB 的核心特性
GaiaDB是百度自研的新一代企業級雲原生資料庫,採用領先的存算分離架構設計,真正實現按需、極致彈性擴展能力,最大容量可擴展128TB以上,吞吐達到150+萬 QPS ,成本僅商業數據的 1/10。
作為設計之初的核心理念,GaiaDB能夠完全相容開源生態,同時GaiaDB還擁有易擴展、易維護、強一致、多地域的核心特性。
圖1 GaiaDB的核心特性介紹
2、 GaiaDB 的設計架構
GaiaDB的設計架構從上至下分別是接入層、計算層、存儲層,接入層負責連接池,負載均衡基礎的功能,包括ip的黑白名單;計算層使用傳統的易主多重架構,讀寫邏輯包括ACID,完全相容MySQL生態;存儲層負責熱數據也就是wal日誌高可用、高可靠,以及數據頁的高可用高可靠。
GaiaDB特性得以實現的核心是存算分離的技術,即通過對傳統資料庫的改造,把計算層和存儲層分為了兩個層級,這樣就能夠解決兩層分別彈性、分別結偶,分別高可用,從而打破了傳統單機計算存儲的匹配不均,以及比例不等的痛點。
不僅如此,GaiaDB能夠幫助主庫在同等的計算資源中取得更高的性能。傳統的架構下中主庫負載高,而在新的架構下,主庫只需要把WAL日誌寫到存儲層的log series集群中,當高可靠的log series集群存儲下來之後,主庫就可以返回並提交事務,從而將數據頁回放,日誌的高可用,高可靠留給存儲層結構來做,這樣便大大降低了主庫以及CPU記憶體的這種負載壓力。
圖2 GaiaDB的高可用架構示意
3、GaiaDB 優勢
首先GaiaDB能夠全方位、100%相容MySQL,做到SQL語法相容、協議相容、工具生態相容、其他特性相容。
圖3 GaiaDB優勢:相容並包
GaiaDB的極致彈性表現在計算層彈性與存儲層彈性,計算節點橫向與縱向彈性,耗時小於30s,同時擴容過程對業務透明。其次存儲層彈性能夠實現按需分配,提高共用存儲池的利用率,同時支持接入各類冷熱介質/分層存儲,介質隻影響讀延遲。
圖4 GaiaDB優勢:極致彈性
GaiaDB第三個優勢是備份恢復,在並行備份與恢復時,百TB備份耗時小於1h。GaiaDB支持邏輯備份、物理備份、同時支持AWS S3介面。
GaiaDB第四個優勢是數據強一致,實現秒級故障恢復。架構每一層都實現高可用、高可靠。
主庫不負責數據的持久化,因此故障不影響數據的完整性,大大降低了數據恢復的時間,降低風險。
圖5 GaiaDB優勢:數據強一致
互聯網業務下要求多地多活,當單地出現故障時能夠快速恢復業務。GaiaDB提供的IDC容災部署架構能夠支持異地熱活,同時能夠輕鬆實現故障切換,保證業務的順利進行。
圖6 GaiaDB IDC容災部署架構
最後,GaiaDB提供運維管理與集群監控的功能。在運維管理中,提供可視化與命令行的運維管理方式,包括集群創建、啟停、庫表管理、備份管理、空間分析和節點拓撲等。同時GaiaDB採用了開源的Prometheus+Grafana作為監控方案,實現計算節點、LS、PS等節點的多指標監控。
圖7 GaiaDB提供運維管理&集群監控
作為一款雲原生資料庫,GaiaDB採用存儲和計算分離的架構,所有計算節點共用一份數據,提供分鐘級的配置升降級、秒級的故障恢復、全局數據一致性和數據備份容災服務,既融合了商業資料庫穩定可靠、高性能、可擴展的特征,又具有開源雲資料庫簡單開放、自我迭代的優勢。
GaiaDB 應用場景
GaiaDB組作為百度智能雲自研的雲原生關係型資料庫,可以100%相容MySQL語法,存儲容量最高可達128TB,單庫最多可擴展到16個節點,適用於大容量、高性能、高彈行的應用場景,接下來我們來看兩個典型的應用場景。
1、場景一:大容量+低成本存儲
隨著業務的不斷發展,傳統資料庫架構會遇到存儲和性能的雙重瓶頸,無法支撐業務幾十TB的高性能訪問。GaiaDB採用計算和存儲分離的架構,實現了大容量與低成本存儲的需求。通過綜合測算,GaiaDB成本只有傳統架構的10%-50%。
2、場景二:爆款產品極速上線
爆款產品往往帶來幾天百倍流量與數據量尖峰,而傳統資料庫無法快速的應對這種場景,拆庫拆表會極大拖慢業務迭代節奏。
GaiaDB提供了極致的彈性能力,實現秒級擴縮容,輕鬆應對流量浪涌。
GaiaDB既融合了商業資料庫穩定可靠、高性能、可擴展的特征,又具有開源雲資料庫簡單開放、自我迭代的優勢,解決雲上業務的需求,相信GaiaDB是很好的選擇。
我今天的分享就到這裡,謝謝大家!
更多精彩內容,歡迎大家觀看現場視頻回放與會議資料
視頻回放:https://www.modb.pro/video/6327
會議資料:https://www.modb.pro/doc/60830
- 查看原文:https://www.modb.pro/db/399683
- 查看【國產資料庫沙龍】互聯網行業應用專場文章、視頻回放資源:https://www.modb.pro/topic/399271
欲瞭解更多可以進入