YCSB的使用測試MySQL協議類資料庫(一)

来源:https://www.cnblogs.com/syw20170419/archive/2023/03/24/17251456.html
-Advertisement-
Play Games

一、工具介紹 YCSB 於 2010 年開源,YCSB是雅虎開源的NoSQL測試工具,用java開發實現,通常用來對noSQL資料庫進行性能,註意此工具僅支持varchar和text類型,且列的長度可以增加,預設是10列,可以根據自己的需要增加列長。運行一個壓力測試需要 6 步: 配置需要測試的數據 ...


一、工具介紹

YCSB 於 2010 年開源,YCSB是雅虎開源的NoSQL測試工具,用java開發實現,通常用來對noSQL資料庫進行性能,註意此工具僅支持varchar和text類型,且列的長度可以增加,預設是10列,可以根據自己的需要增加列長。運行一個壓力測試需要 6 步:

  • 配置需要測試的資料庫
  • 選擇合適的資料庫介面層
  • 選擇合適的 workload
  • 選擇合適的運行時參數
  • 裝載數據(loading phase)   (ycsb主要就是這2步驟)
  • 運行測試(transaction phase)

二、工具使用

1、下載

curl -O --location https://github.com/brianfrankcooper/YCSB/releases/download/0.17.0/ycsb-0.17.0.tar.gz
tar xfvz ycsb-0.17.0.tar.gz
cd ycsb-0.17.0

2、修改配置

(1)進入ycsb-0.17.0/jdbc-binding/conf 修改db.properties

db.driver=com.mysql.jdbc.Driver
# jdbc.fetchsize=20
db.url=jdbc:mysql://192.168.30.128:33306/ycsb?useSSL=false&autoReconnect=true&characterEncoding=utf8
db.user=root
db.passwd=123456

(2)進入ycsb-0.17.0/jdbc-binding/lib,下載mysql-connector-java-5.1.46.jar並放入lib目錄下

3、創建測試的庫與表

create database ycsb;
use ycsb;

#必須是這個表結構,負責插入數據將報錯,可以將text改為varchar類型
CREATE TABLE usertable (
    YCSB_KEY VARCHAR(255) PRIMARY KEY,
    FIELD0 varchar(100), FIELD1 varchar(100),    #ycsb的預設欄位長度是100
    FIELD2 TEXT, FIELD3 TEXT,
    FIELD4 TEXT, FIELD5 TEXT,
    FIELD6 TEXT, FIELD7 TEXT,
    FIELD8 TEXT, FIELD9 TEXT
);

#或者是如下的表結構

CREATE TABLE usertable (
YCSB_KEY VARCHAR(255) PRIMARY KEY,
FIELD0 VARCHAR(255), FIELD1 VARCHAR(255),
FIELD2 VARCHAR(255), FIELD3 VARCHAR(255),
FIELD4 VARCHAR(255), FIELD5 VARCHAR(255),
FIELD6 VARCHAR(255), FIELD7 VARCHAR(255),
FIELD8 text, FIELD9 text
);

4、數據寫入

  • 批量寫入數據,預設每次寫入1000條數據
cd ycsb-0.17.0   #進入此目錄下,然後執行load命令
./bin/ycsb load jdbc -s -P workloads/workloadd -P /syw_test/ycsb-0.17.0/jdbc-binding/conf/db.properties -cp /syw_test/ycsb-0.17.0/jdbc-binding/lib/mysql-connector-java-5.1.46.jar -p recordcount=1000 -p threads=5 -p operationcount=1000 -p table=usertable
options選項:
-P file :指定workload文件,相對路徑或者絕對路徑。
-cp path :指定額外的Java classpath。
-jvm-args args :指定額外的JVM參數。
-p key=value :設置ycsb配置項,會覆蓋workload文件的配置項。
-s :運行時的中間狀態列印到stderr中。
-target n :表示1s中總共的操作次數。
-threads n :設置ycsb client的併發測試線程數,預設是1,單線程。

5、執行測試

載入好數據之後,即可執行工作負載

#將load改為run即可
./bin/ycsb run jdbc -s -P workloads/workloadd -P /syw_test/ycsb-0.17.0/jdbc-binding/conf/db.properties -cp /syw_test/ycsb-0.17.0/jdbc-binding/lib/mysql-connector-java-5.1.46.jar -p recordcount=1000 -p threads=5 -p operationcount=1000 -p table=usertable

三、YCSB測試參數解析

(1)workloads目錄裡面下包含自帶了6種壓力測試場景:

workloada:讀寫均衡型,50%/50%,Reads/Writes
workloadb:讀多寫少型,95%/5%,Reads/Writes
workloadc:只讀型,100%,Reads
workloadd:讀最近寫入記錄型,95%/5%,Reads/insert
workloade:掃描小區間型,95%/5%,scan/insert
workloadf:讀寫入記錄均衡型,50%/50%,Reads/insert

(2)workload參數介紹

參數

含義

recordcount=1000

 

YCSB load(載入元數據)命令的參數,預設值1000表示預設載入的記錄條數,可以在命令行顯示修改該值。

operationcount=1000

 

YCSB run(運行壓力測試)命令的參數,預設值1000表示預設選取資料庫中的1000條數據進行壓力測試。對於workloada這種測試場景,就意味著讀數據在500左右,寫數據也在500左右。

workload=com.yahoo.ycsb.workloads.CoreWorkload

 

指定了workload的實現類為 com.yahoo.ycsb.workloads.CoreWorkload

readallfields=true

表示查詢時是否讀取記錄的所有欄位

readproportion=0.5

表示讀操作的比例,該場景為0.5

updateproportion=0.5

表示更新操作的比例,該場景為0.5

scanproportion=0

表示掃描操作的比例

insertproportion=0

表示插入操作的比例

requestdistribution=zipfian

 

表示請求的分佈模式,YCSB提供uniform, zipfian, latest三種分佈模式,

Uniform(等概率隨機選擇記錄)、Zipfian(隨機選擇記錄,存在熱紀錄)和Latest(近期寫入的記錄是熱記錄)

 

四、測試結果的解讀

[OVERALL], RunTime(ms), 8001                       #運行總時間(毫秒)   【測試指標】
[OVERALL], Throughput(ops/sec), 124.9843769528809    #吞吐量,每秒操作數    【測試指標】
[TOTAL_GCS_G1_Young_Generation], Count, 1       #JVM垃圾回收機制的配置
[TOTAL_GC_TIME_G1_Young_Generation], Time(ms), 152    
[TOTAL_GC_TIME_%_G1_Young_Generation], Time(%), 1.8997625296837894
[TOTAL_GCS_G1_Old_Generation], Count, 0
[TOTAL_GC_TIME_G1_Old_Generation], Time(ms), 0
[TOTAL_GC_TIME_%_G1_Old_Generation], Time(%), 0.0
[TOTAL_GCs], Count, 1         #全局GC次數
[TOTAL_GC_TIME], Time(ms), 152   #全局GC時間
[TOTAL_GC_TIME_%], Time(%), 1.8997625296837894     #全局GC時間百分比
[READ], Operations, 954            #讀總操作數
[READ], AverageLatency(us), 3428.7201257861634    #平均延遲(微秒)
[READ], MinLatency(us), 1889      #最小延遲(微秒)
[READ], MaxLatency(us), 163071      #最大延遲(微秒)
[READ], 95thPercentileLatency(us), 5395     #95%的樣本延遲低於該值      【測試指標】
[READ], 99thPercentileLatency(us), 10007   #99%的樣本延遲低於該值
[READ], Return=OK, 954
[CLEANUP], Operations, 1
[CLEANUP], AverageLatency(us), 9964.0
[CLEANUP], MinLatency(us), 9960
[CLEANUP], MaxLatency(us), 9967
[CLEANUP], 95thPercentileLatency(us), 9967
[CLEANUP], 99thPercentileLatency(us), 9967
[INSERT], Operations, 46    #寫入總操作數
[INSERT], AverageLatency(us), 11757.478260869566
[INSERT], MinLatency(us), 6932
[INSERT], MaxLatency(us), 36159
[INSERT], 95thPercentileLatency(us), 19951
[INSERT], 99thPercentileLatency(us), 36159
[INSERT], Return=OK, 46

 五、測試指標

運行時間、吞吐量、時延

 

1.作者:Syw
2.出處:http://www.cnblogs.com/syw20170419/
3.本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。
4.如果文中有什麼錯誤,歡迎指出。以免更多的人被誤導。

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 導入的文件 前端點擊上傳得到文件(MultipartFile file 【這裡是存放的臨時文件】) 本人前端用的vue3,elementui, 導入按鈕代碼 <!--導入文件 --> <el-col :span="1.5"> <el-button type="info" plain icon="el ...
  • 如題,很簡單,就是先用chardet 庫識別文件編碼,解碼之後再輸出成目標編碼。算是個偶爾能用上的小工具,要用的時候萬一沒有就很難受的那種,比如,網上下載了別人的項目文件,一打開全是亂碼…… 代碼 加了比較詳細的註釋~~ 看懂的要求應該不高,平時用過Python,知道幾個常用庫就行。 from pa ...
  • TIDB簡介 什麼是TIDB TiDB 是一個分散式 NewSQL 資料庫。它支持水平彈性擴展、ACID 事務、標準 SQL、MySQL 語法和 MySQL 協議,具有數據強一致的高可用特性,是一個不僅適合 OLTP 場景還適合 OLAP 場景的混合資料庫。 TiDB 是 PingCAP 公司自主設 ...
  • 在前面的設計和實現中,我們的微服務開發平臺通過JustAuth來實現第三方授權登錄,通過集成公共組件,著實減少了很多工作量,大多數的第三方登錄直接通過配置就可以實現。而在第三方授權登錄中,微信小程式授權登錄和APP微信授權登錄是兩種特殊的第三方授權登錄。 JustAuth之所以能夠將多種第三方授權登 ...
  • 使用 Linux dd 命令測試磁碟讀寫性能 從幫助手冊中可以看出,dd命令可以複製文件,根據操作數進行轉換和格式化。我這裡記錄一下dd命令用於測試磁碟I/O性能的過程。 dd 可從標準輸入或文件中讀取數據,根據指定的格式來轉換數據,再輸出到文件、設備或標準輸出。 dd 命令用法: Usage: d ...
  • Linux報錯:audit: backlog limit exceeded(審計:超出積壓限制) 系統版本:CentOS Linux release 7.6.1810 (Core) 問題現象:一次巡檢中發現業務系統打不開,對應的Linux伺服器ssh連接不上,但是能ping通,於是在VMware v ...
  • P2 MySQL三層結構 所謂安裝MySQL資料庫,就是在主機安裝一個資料庫管理系統(DBMS),這個管理程式可以管理多個資料庫。DBMS(database manage system) 一個資料庫可以創建多個表,以保存數據(信息)。 數據管理系統(DBMS)、資料庫和表的關係如圖所示: 數據在數據 ...
  • 支持insert和批量insert,待研究怎麼設置 一、建表 (1)預設表名為usertable CREATE TABLE usertable ( YCSB_KEY VARCHAR(255) PRIMARY KEY, FIELD0 TEXT, FIELD1 TEXT, FIELD2 TEXT, FI ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...