聯合評測 DapuStor Roealsen5 NVMe SSD在GreatSQL數據據庫中的應用探索

来源:https://www.cnblogs.com/greatsql/archive/2023/01/13/17048530.html
-Advertisement-
Play Games

1、合作背景 萬里開源軟體有限公司 ​ 北京萬里開源軟體有限公司,是專註於國產自主可控資料庫產品研發超 20年的國家高新技術企業,參與多個國家級的資料庫行業標準制定工作。本次用於測試的 GreatSQL 開源資料庫是適用於金融級應用的國內自主 MySQL 版本,專註於提升 MGR 可靠性及性能,支持 ...


1、合作背景

萬里開源軟體有限公司

​ 北京萬里開源軟體有限公司,是專註於國產自主可控資料庫產品研發超 20年的國家高新技術企業,參與多個國家級的資料庫行業標準制定工作。本次用於測試的 GreatSQL 開源資料庫是適用於金融級應用的國內自主 MySQL 版本,專註於提升 MGR 可靠性及性能,支持 InnoDB 並行查詢等特性,可以作為 MySQL 或 Percona Server 的可選替換,用於線上生產環境,且完全免費並相容 MySQL 或 Percona Server。

大普微電子科技有限公司

​ 深圳大普微電子科技有限公司(DapuStor),是國內領先的企業級 SSD 主控晶元設計、SSD 產品及存儲方案定製專家。本次用於測試的 Roealsen5 企業級 SSD 基於自研控制器 DP600 和固件,搭載 KIOXIA 112層 3D Enterprise TLC,為客戶提供業界領先的高性能、高可靠、低延時的 SSD,為企業 IT 及雲設施提供更高能效和更優 TCO 的解決方案。DapuStor R5 產品廣泛適用於企業IT、運營商、互聯網、金融、智能製造、AI及大數據分析等行業的核心存儲場景。

2、測試目的

此次測試的目的主要在於:
針對 GreatSQL 在 DapuStor Roealsen5 NVMe SSD(以下簡Roealsen5)上的性能進行測試驗證,並與S公司同規格的一款主流 NVMe SSD 做對比,檢驗 GreatSQL 在 Roealsen5 SSD 上運行是否能獲得性能更佳、穩定性更強的效果。

3、測試用例設計

sysbench測試:

  • 資料庫的 InnoDB Buffer Pool size 通常最高設置為物理記憶體的75%,但實際生產伺服器實際記憶體大小存在差異,導致生產環境的 InnoDB Buffer Pool size 大小存在差異,並且理論上 InnoDB Buffer Pool size 設置的越小,會有更多的 IO 請求落到 SSD 上,可以通過設置不同的 InnoDB Buffer Pool size 的性能影響;
  • 針對資料庫常用的數據模型分析,混合讀寫是資料庫占比最多的應用場景;
  • Linux 系統上比較常用的文件系統為 ext4 和 xfs ;
  • 針對以上幾點設計測試用例如下:
    • 文件系統格式:ext4 、xfs
    • 併發線程數:1、4、8、16、32、64、128
    • 測試事務模型:oltp_read_write(混合讀寫場景)
    • 數據量:64張表,每張表1250萬行數據,約191G
    • InnoDB Buffer Pool size大小:48G、96G、144G、196G

4、測試詳細數據

sysbench測試數據:

ext4文件系統:

圖1:Roealsen5和友商在ibp=48G 混合讀寫場景QPS對比(越高越好)

圖1:Roealsen5和友商在ibp=48G 混合讀寫場景QPS對比(越高越好)

圖2:Roealsen5和友商在ibp=48G 混合讀寫場景平均時延對比(越低越好)

圖2:Roealsen5和友商在ibp=48G 混合讀寫場景平均時延對比(越低越好)

圖3: Roealsen5和友商在ibp=96G 混合讀寫場景QPS對比(越高越好)

圖3: Roealsen5和友商在ibp=96G 混合讀寫場景QPS對比(越高越好)

圖4:Roealsen5和友商在ibp=96G 混合讀寫場景平均時延對比(越低越好)

圖4:Roealsen5和友商在ibp=96G 混合讀寫場景平均時延對比(越低越好)

圖5:Roealsen5和友商在ibp=144G 混合讀寫場景QPS 對比(越高越好)

圖5:Roealsen5和友商在ibp=144G 混合讀寫場景QPS 對比(越高越好)

圖6:Roealsen5和友商在ibp=144G 混合讀寫場景平均時延對比(越低越好)

圖6:Roealsen5和友商在ibp=144G 混合讀寫場景平均時延對比(越低越好)

圖7:Roealsen5和友商在ibp=192G 混合讀寫場景QPS 對比(越高越好)

圖7:Roealsen5和友商在ibp=192G 混合讀寫場景QPS 對比(越高越好)

圖8: Roealsen5和友商在ibp=192G 混合讀寫場景平均時延對比(越低越好)

圖8: Roealsen5和友商在ibp=192G 混合讀寫場景平均時延對比(越低越好)

Xfs文件系統:

圖9:Roealsen5和友商在ibp=48G 混合讀寫場景QPS 對比(越高越好)

圖9:Roealsen5和友商在ibp=48G 混合讀寫場景QPS 對比(越高越好)

圖10:Roealsen5和友商在ibp=48G 混合讀寫場景平均時延對比(越低越好)

圖10:Roealsen5和友商在ibp=48G 混合讀寫場景平均時延對比(越低越好)

圖11:Roealsen5和友商在ibp=96G 混合讀寫場景QPS 對比(越高越好)

圖11:Roealsen5和友商在ibp=96G 混合讀寫場景QPS 對比(越高越好)

圖12:Roealsen5和友商在ibp=96G 混合讀寫場景平均時延對比(越低越好)

圖12:Roealsen5和友商在ibp=96G 混合讀寫場景平均時延對比(越低越好)

圖13:Roealsen5和友商在ibp=144G 混合讀寫場景QPS 對比(越高越好)
圖13:Roealsen5和友商在ibp=144G 混合讀寫場景QPS 對比(越高越好)

圖14:Roealsen5和友商在ibp=144G 混合讀寫場景平均時延對比(越低越好)

圖14:Roealsen5和友商在ibp=144G 混合讀寫場景平均時延對比(越低越好)

圖15:Roealsen5和友商在ibp=192G 混合讀寫場景QPS 對比(越高越好)

圖15: Roealsen5和友商在ibp=192G 混合讀寫場景QPS 對比(越高越好)

圖16:Roealsen5和友商在ibp=192G 混合讀寫場景平均時延對比(越低越好)

圖16:Roealsen5和友商在ibp=192G 混合讀寫場景平均時延對比(越低越好)

5、測試結論

sysbench測試結論:

  • 資料庫分別運行在 Roealsen5 和友商 NVMe SSD盤上,無論是ext4 還是 xfs 文件系統, InnoDB Buffer Pool size 是否充足, Roealsen5 作為GreatSQL數據盤的性能都優於友商 NVMe SSD。作為GreatSQL 數據盤, Roealsen5 會給用戶帶來更高的吞吐的同時帶來更短的響應時延。

  • 在InnoDB Buffer Pool size 不足的情況下(分別為 48G、96G 時),對比1~128併發下 Roealsen5和友商 NVMe SSD 的 QPS 和平均時延, Roealsen5 的 QPS 有 9.7% ~ 126.7% 不等的提升,平均時延最多降低了 55.6%

  • 在 InnoDB Buffer Pool size 充足的情況下(分別為 144G、196G 時),對比 1~128 併發下 Roealsen5 和友商 NVMe SSD 的 QPS 和平均時延, Roealsen5 的 QPS 最多提升了40% 左右,平均時延最多降低了 40% 左右。

​ 從以上測試數據可以明顯看出,GreatSQL 資料庫搭載DapuStor Roealsen5 NVMe SSD 後,性能實現大幅提升,尤其在混合讀寫的場景,在增大數據的吞吐量的同時,大幅度降低時延,解決資料庫的高效訪問、方便共用等問題。

​ 作為分別在資料庫領域和數據存儲領域的國內領先企業,萬里資料庫和 DapuStor 在本次合作的應用探索,希望能為用戶帶來更加流暢、高效的體驗。未來,萬里資料庫將推動 GreatSQL 協同 DapuStor 探索更多基於 DapuStor Roealsen5 NVMe SSD 在資料庫中的結合點和創新點,打造資料庫+存儲軟硬一體化聯合解決方案,為用戶創造更多價值。


Enjoy GreatSQL

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • ​01 前言 筆者在嘗試擴容C盤時,程式出錯導致D盤無法正常使用,最後誤將其格式化的悲傷故事。(低級錯誤) 02 竇娥冤 前天晚上十點左右,看著電腦里的C盤已經空間不足好幾天了,便想著擴容一下。 因為我的電腦是雙系統, Windows10+MacOS(黑蘋果) 所以硬碟的磁碟分區比較複雜, 一些引導 ...
  • 假設要在centos7.6防火牆上開啟443埠 前言:文章內容可能會因環境不同而有所差異,所謂集思廣益說不定靈感就來了呢; 文章初衷旨在交流學習、記錄個人成長,如果能幫助到您,那就點個贊噢。 1、查看防火牆是否開啟,如果沒有開啟防火牆,預設開放所有埠。 註意:如果是生產環境有業務在運行,開啟防火 ...
  • 簡述 本篇文章主要介紹如何使用 CloudCanal 構建一條 Oracle 到 PostgreSQL 的數據同步鏈路 技術要點 縮小的資料庫許可權要求 CloudCanal 對 Oracle 資料庫的高許可權要求,主要來自兩個面向 DBA 的操作,自動構建字典和 自動切換歸檔日誌,這兩個操作主要是讓用 ...
  • 在表數據量很大的時候直接添加欄位,以及其他表結構修改,會嚴重影響線上使用,而且耗費時間很長;使用這個工具可以很好的線上修改表結構。 好處: 降低主從延時的風險 可以限速、限資源,避免操作時MySQL負載過高 建議: 在業務低峰期做,將影響降到最低 直接原表修改缺點: 當表的數據量很大的時候,如果直接 ...
  • 用通配符進行過濾 LIKE操作符 通配符(wildcard) 用來匹配值的一部分的特殊字元。 搜索模式(search pattern) 由字面值、通配符或兩者組合構成的搜索條件。 搜索子句中使用通配符,必須使用LIKE操作符。LIKE指示MySQL,後跟的搜索模式利用通配符匹配而不是直接相等匹配進行 ...
  • 摘要:華為雲FusionInsight MRS HetuEngine持續提升自助用數分析平臺的可服務、易運維能力,基於AI技術持續提升對數據分析平臺的智能化賦能水平,引領現代數據分析平臺向專業化、智能化、易運維、高性能方向演進。 本文分享自華為雲社區《現代數據平臺要實現自助用數還要解決的三大問題》, ...
  • 過濾數據 使用WHERE子句 搜索條件也稱為過濾條件(filter condition)。在SELECT語句中,數據根據WHERE子句中指定的搜索條件進行過濾: SELECT prod_name, prod_price FROM products WHERE prod_price = 2.50; 註 ...
  • 排序檢索數據 排序數據 不明確規定排序順序,則不應該假定檢索出的數據的順序有意義。 子句(clause) SQL語句由子句構成,有些子句是必需的,而有的是可選的。一個子句通常由一個關鍵字和所提供的數據組成。子句的例子有SELECT語句的FROM子句。 為了明確地排序用SELECT語句檢索出的數據,可 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...