聯合評測 DapuStor Roealsen5 NVMe SSD在GreatSQL數據據庫中的應用探索

来源:https://www.cnblogs.com/greatsql/archive/2023/01/13/17048530.html
-Advertisement-
Play Games

1、合作背景 萬里開源軟體有限公司 ​ 北京萬里開源軟體有限公司,是專註於國產自主可控資料庫產品研發超 20年的國家高新技術企業,參與多個國家級的資料庫行業標準制定工作。本次用於測試的 GreatSQL 開源資料庫是適用於金融級應用的國內自主 MySQL 版本,專註於提升 MGR 可靠性及性能,支持 ...


1、合作背景

萬里開源軟體有限公司

​ 北京萬里開源軟體有限公司,是專註於國產自主可控資料庫產品研發超 20年的國家高新技術企業,參與多個國家級的資料庫行業標準制定工作。本次用於測試的 GreatSQL 開源資料庫是適用於金融級應用的國內自主 MySQL 版本,專註於提升 MGR 可靠性及性能,支持 InnoDB 並行查詢等特性,可以作為 MySQL 或 Percona Server 的可選替換,用於線上生產環境,且完全免費並相容 MySQL 或 Percona Server。

大普微電子科技有限公司

​ 深圳大普微電子科技有限公司(DapuStor),是國內領先的企業級 SSD 主控晶元設計、SSD 產品及存儲方案定製專家。本次用於測試的 Roealsen5 企業級 SSD 基於自研控制器 DP600 和固件,搭載 KIOXIA 112層 3D Enterprise TLC,為客戶提供業界領先的高性能、高可靠、低延時的 SSD,為企業 IT 及雲設施提供更高能效和更優 TCO 的解決方案。DapuStor R5 產品廣泛適用於企業IT、運營商、互聯網、金融、智能製造、AI及大數據分析等行業的核心存儲場景。

2、測試目的

此次測試的目的主要在於:
針對 GreatSQL 在 DapuStor Roealsen5 NVMe SSD(以下簡Roealsen5)上的性能進行測試驗證,並與S公司同規格的一款主流 NVMe SSD 做對比,檢驗 GreatSQL 在 Roealsen5 SSD 上運行是否能獲得性能更佳、穩定性更強的效果。

3、測試用例設計

sysbench測試:

  • 資料庫的 InnoDB Buffer Pool size 通常最高設置為物理記憶體的75%,但實際生產伺服器實際記憶體大小存在差異,導致生產環境的 InnoDB Buffer Pool size 大小存在差異,並且理論上 InnoDB Buffer Pool size 設置的越小,會有更多的 IO 請求落到 SSD 上,可以通過設置不同的 InnoDB Buffer Pool size 的性能影響;
  • 針對資料庫常用的數據模型分析,混合讀寫是資料庫占比最多的應用場景;
  • Linux 系統上比較常用的文件系統為 ext4 和 xfs ;
  • 針對以上幾點設計測試用例如下:
    • 文件系統格式:ext4 、xfs
    • 併發線程數:1、4、8、16、32、64、128
    • 測試事務模型:oltp_read_write(混合讀寫場景)
    • 數據量:64張表,每張表1250萬行數據,約191G
    • InnoDB Buffer Pool size大小:48G、96G、144G、196G

4、測試詳細數據

sysbench測試數據:

ext4文件系統:

圖1:Roealsen5和友商在ibp=48G 混合讀寫場景QPS對比(越高越好)

圖1:Roealsen5和友商在ibp=48G 混合讀寫場景QPS對比(越高越好)

圖2:Roealsen5和友商在ibp=48G 混合讀寫場景平均時延對比(越低越好)

圖2:Roealsen5和友商在ibp=48G 混合讀寫場景平均時延對比(越低越好)

圖3: Roealsen5和友商在ibp=96G 混合讀寫場景QPS對比(越高越好)

圖3: Roealsen5和友商在ibp=96G 混合讀寫場景QPS對比(越高越好)

圖4:Roealsen5和友商在ibp=96G 混合讀寫場景平均時延對比(越低越好)

圖4:Roealsen5和友商在ibp=96G 混合讀寫場景平均時延對比(越低越好)

圖5:Roealsen5和友商在ibp=144G 混合讀寫場景QPS 對比(越高越好)

圖5:Roealsen5和友商在ibp=144G 混合讀寫場景QPS 對比(越高越好)

圖6:Roealsen5和友商在ibp=144G 混合讀寫場景平均時延對比(越低越好)

圖6:Roealsen5和友商在ibp=144G 混合讀寫場景平均時延對比(越低越好)

圖7:Roealsen5和友商在ibp=192G 混合讀寫場景QPS 對比(越高越好)

圖7:Roealsen5和友商在ibp=192G 混合讀寫場景QPS 對比(越高越好)

圖8: Roealsen5和友商在ibp=192G 混合讀寫場景平均時延對比(越低越好)

圖8: Roealsen5和友商在ibp=192G 混合讀寫場景平均時延對比(越低越好)

Xfs文件系統:

圖9:Roealsen5和友商在ibp=48G 混合讀寫場景QPS 對比(越高越好)

圖9:Roealsen5和友商在ibp=48G 混合讀寫場景QPS 對比(越高越好)

圖10:Roealsen5和友商在ibp=48G 混合讀寫場景平均時延對比(越低越好)

圖10:Roealsen5和友商在ibp=48G 混合讀寫場景平均時延對比(越低越好)

圖11:Roealsen5和友商在ibp=96G 混合讀寫場景QPS 對比(越高越好)

圖11:Roealsen5和友商在ibp=96G 混合讀寫場景QPS 對比(越高越好)

圖12:Roealsen5和友商在ibp=96G 混合讀寫場景平均時延對比(越低越好)

圖12:Roealsen5和友商在ibp=96G 混合讀寫場景平均時延對比(越低越好)

圖13:Roealsen5和友商在ibp=144G 混合讀寫場景QPS 對比(越高越好)
圖13:Roealsen5和友商在ibp=144G 混合讀寫場景QPS 對比(越高越好)

圖14:Roealsen5和友商在ibp=144G 混合讀寫場景平均時延對比(越低越好)

圖14:Roealsen5和友商在ibp=144G 混合讀寫場景平均時延對比(越低越好)

圖15:Roealsen5和友商在ibp=192G 混合讀寫場景QPS 對比(越高越好)

圖15: Roealsen5和友商在ibp=192G 混合讀寫場景QPS 對比(越高越好)

圖16:Roealsen5和友商在ibp=192G 混合讀寫場景平均時延對比(越低越好)

圖16:Roealsen5和友商在ibp=192G 混合讀寫場景平均時延對比(越低越好)

5、測試結論

sysbench測試結論:

  • 資料庫分別運行在 Roealsen5 和友商 NVMe SSD盤上,無論是ext4 還是 xfs 文件系統, InnoDB Buffer Pool size 是否充足, Roealsen5 作為GreatSQL數據盤的性能都優於友商 NVMe SSD。作為GreatSQL 數據盤, Roealsen5 會給用戶帶來更高的吞吐的同時帶來更短的響應時延。

  • 在InnoDB Buffer Pool size 不足的情況下(分別為 48G、96G 時),對比1~128併發下 Roealsen5和友商 NVMe SSD 的 QPS 和平均時延, Roealsen5 的 QPS 有 9.7% ~ 126.7% 不等的提升,平均時延最多降低了 55.6%

  • 在 InnoDB Buffer Pool size 充足的情況下(分別為 144G、196G 時),對比 1~128 併發下 Roealsen5 和友商 NVMe SSD 的 QPS 和平均時延, Roealsen5 的 QPS 最多提升了40% 左右,平均時延最多降低了 40% 左右。

​ 從以上測試數據可以明顯看出,GreatSQL 資料庫搭載DapuStor Roealsen5 NVMe SSD 後,性能實現大幅提升,尤其在混合讀寫的場景,在增大數據的吞吐量的同時,大幅度降低時延,解決資料庫的高效訪問、方便共用等問題。

​ 作為分別在資料庫領域和數據存儲領域的國內領先企業,萬里資料庫和 DapuStor 在本次合作的應用探索,希望能為用戶帶來更加流暢、高效的體驗。未來,萬里資料庫將推動 GreatSQL 協同 DapuStor 探索更多基於 DapuStor Roealsen5 NVMe SSD 在資料庫中的結合點和創新點,打造資料庫+存儲軟硬一體化聯合解決方案,為用戶創造更多價值。


Enjoy GreatSQL

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • ​01 前言 筆者在嘗試擴容C盤時,程式出錯導致D盤無法正常使用,最後誤將其格式化的悲傷故事。(低級錯誤) 02 竇娥冤 前天晚上十點左右,看著電腦里的C盤已經空間不足好幾天了,便想著擴容一下。 因為我的電腦是雙系統, Windows10+MacOS(黑蘋果) 所以硬碟的磁碟分區比較複雜, 一些引導 ...
  • 假設要在centos7.6防火牆上開啟443埠 前言:文章內容可能會因環境不同而有所差異,所謂集思廣益說不定靈感就來了呢; 文章初衷旨在交流學習、記錄個人成長,如果能幫助到您,那就點個贊噢。 1、查看防火牆是否開啟,如果沒有開啟防火牆,預設開放所有埠。 註意:如果是生產環境有業務在運行,開啟防火 ...
  • 簡述 本篇文章主要介紹如何使用 CloudCanal 構建一條 Oracle 到 PostgreSQL 的數據同步鏈路 技術要點 縮小的資料庫許可權要求 CloudCanal 對 Oracle 資料庫的高許可權要求,主要來自兩個面向 DBA 的操作,自動構建字典和 自動切換歸檔日誌,這兩個操作主要是讓用 ...
  • 在表數據量很大的時候直接添加欄位,以及其他表結構修改,會嚴重影響線上使用,而且耗費時間很長;使用這個工具可以很好的線上修改表結構。 好處: 降低主從延時的風險 可以限速、限資源,避免操作時MySQL負載過高 建議: 在業務低峰期做,將影響降到最低 直接原表修改缺點: 當表的數據量很大的時候,如果直接 ...
  • 用通配符進行過濾 LIKE操作符 通配符(wildcard) 用來匹配值的一部分的特殊字元。 搜索模式(search pattern) 由字面值、通配符或兩者組合構成的搜索條件。 搜索子句中使用通配符,必須使用LIKE操作符。LIKE指示MySQL,後跟的搜索模式利用通配符匹配而不是直接相等匹配進行 ...
  • 摘要:華為雲FusionInsight MRS HetuEngine持續提升自助用數分析平臺的可服務、易運維能力,基於AI技術持續提升對數據分析平臺的智能化賦能水平,引領現代數據分析平臺向專業化、智能化、易運維、高性能方向演進。 本文分享自華為雲社區《現代數據平臺要實現自助用數還要解決的三大問題》, ...
  • 過濾數據 使用WHERE子句 搜索條件也稱為過濾條件(filter condition)。在SELECT語句中,數據根據WHERE子句中指定的搜索條件進行過濾: SELECT prod_name, prod_price FROM products WHERE prod_price = 2.50; 註 ...
  • 排序檢索數據 排序數據 不明確規定排序順序,則不應該假定檢索出的數據的順序有意義。 子句(clause) SQL語句由子句構成,有些子句是必需的,而有的是可選的。一個子句通常由一個關鍵字和所提供的數據組成。子句的例子有SELECT語句的FROM子句。 為了明確地排序用SELECT語句檢索出的數據,可 ...
一周排行
    -Advertisement-
    Play Games
  • 前言 微服務架構已經成為搭建高效、可擴展系統的關鍵技術之一,然而,現有許多微服務框架往往過於複雜,使得我們普通開發者難以快速上手並體驗到微服務帶了的便利。為瞭解決這一問題,於是作者精心打造了一款最接地氣的 .NET 微服務框架,幫助我們輕鬆構建和管理微服務應用。 本框架不僅支持 Consul 服務註 ...
  • 先看一下效果吧: 如果不會寫動畫或者懶得寫動畫,就直接交給Blend來做吧; 其實Blend操作起來很簡單,有點類似於在操作PS,我們只需要設置關鍵幀,滑鼠點來點去就可以了,Blend會自動幫我們生成我們想要的動畫效果. 第一步:要創建一個空的WPF項目 第二步:右鍵我們的項目,在最下方有一個,在B ...
  • Prism:框架介紹與安裝 什麼是Prism? Prism是一個用於在 WPF、Xamarin Form、Uno 平臺和 WinUI 中構建鬆散耦合、可維護和可測試的 XAML 應用程式框架 Github https://github.com/PrismLibrary/Prism NuGet htt ...
  • 在WPF中,屏幕上的所有內容,都是通過畫筆(Brush)畫上去的。如按鈕的背景色,邊框,文本框的前景和形狀填充。藉助畫筆,可以繪製頁面上的所有UI對象。不同畫筆具有不同類型的輸出( 如:某些畫筆使用純色繪製區域,其他畫筆使用漸變、圖案、圖像或繪圖)。 ...
  • 前言 嗨,大家好!推薦一個基於 .NET 8 的高併發微服務電商系統,涵蓋了商品、訂單、會員、服務、財務等50多種實用功能。 項目不僅使用了 .NET 8 的最新特性,還集成了AutoFac、DotLiquid、HangFire、Nlog、Jwt、LayUIAdmin、SqlSugar、MySQL、 ...
  • 本文主要介紹攝像頭(相機)如何採集數據,用於類似攝像頭本地顯示軟體,以及流媒體數據傳輸場景如傳屏、視訊會議等。 攝像頭採集有多種方案,如AForge.NET、WPFMediaKit、OpenCvSharp、EmguCv、DirectShow.NET、MediaCaptre(UWP),網上一些文章以及 ...
  • 前言 Seal-Report 是一款.NET 開源報表工具,擁有 1.4K Star。它提供了一個完整的框架,使用 C# 編寫,最新的版本採用的是 .NET 8.0 。 它能夠高效地從各種資料庫或 NoSQL 數據源生成日常報表,並支持執行複雜的報表任務。 其簡單易用的安裝過程和直觀的設計界面,我們 ...
  • 背景需求: 系統需要對接到XXX官方的API,但因此官方對接以及管理都十分嚴格。而本人部門的系統中包含諸多子系統,系統間為了穩定,程式間多數固定Token+特殊驗證進行調用,且後期還要提供給其他兄弟部門系統共同調用。 原則上:每套系統都必須單獨接入到官方,但官方的接入複雜,還要官方指定機構認證的證書 ...
  • 本文介紹下電腦設備關機的情況下如何通過網路喚醒設備,之前電源S狀態 電腦Power電源狀態- 唐宋元明清2188 - 博客園 (cnblogs.com) 有介紹過遠程喚醒設備,後面這倆天瞭解多了點所以單獨加個隨筆 設備關機的情況下,使用網路喚醒的前提條件: 1. 被喚醒設備需要支持這WakeOnL ...
  • 前言 大家好,推薦一個.NET 8.0 為核心,結合前端 Vue 框架,實現了前後端完全分離的設計理念。它不僅提供了強大的基礎功能支持,如許可權管理、代碼生成器等,還通過採用主流技術和最佳實踐,顯著降低了開發難度,加快了項目交付速度。 如果你需要一個高效的開發解決方案,本框架能幫助大家輕鬆應對挑戰,實 ...