1.背景 sysbench是一款壓力測試工具,可以測試系統的硬體性能,也可以用來對資料庫進行基準測試。sysbench 支持的測試有CPU運算性能測試、記憶體分配及傳輸速度測試、磁碟IO性能測試、POSIX線程性能測試、互斥性測試測試、資料庫性能測試(OLTP基準測試)。目前支持的資料庫主要是MySQ ...
1.背景
sysbench是一款壓力測試工具,可以測試系統的硬體性能,也可以用來對資料庫進行基準測試。sysbench 支持的測試有CPU運算性能測試、記憶體分配及傳輸速度測試、磁碟IO性能測試、POSIX線程性能測試、互斥性測試測試、資料庫性能測試(OLTP基準測試)。目前支持的資料庫主要是MySQL資料庫和PG資料庫。
在新伺服器上線時,建議對伺服器的性能做一次測試,最好與既往的同類型的伺服器的性能測試報表做一個橫線比較,發現潛在問題。及新機器上線前,對伺服器做一次體檢。
對資料庫而言,我們可以通過sysbench工具實現對資料庫的基準測試。在現在的系統架構中,前端都比較容易彈性水平拓展,資料庫相對較難,因此,基準測試對資料庫具有很重要的作用。而對資料庫的基準測試的作用,就是分析在當前的配置下(包括硬體配置、OS、資料庫設置等),資料庫的性能表現,從而找出MySQL的性能閾值,並根據實際系統的要求調整配置。
2.sysbench的安裝
1)安裝命令
yum -y install sysbench
2)查看安裝的版本
sysbench --version
3)查看已安裝軟體的信息(主要是通 rpm 命令)。
查詢sysbench的安裝信息,主要是測試mysql時,需要使用sysbench自帶的lua腳本進行測試。如果使用快速安裝的方式,預設的腳本路徑為:/usr/share/sysbench。
如果不在這個命令,我們我們執行以下命令查看,查找已安裝在本機Linux系統上面的所有的sysbench軟體的程式:
rpm -qa sysbench
列出該軟體所有的文件與目錄所在完整文件名(list):
rpm -ql sysbench
3.sysbench 語法
sysbench --help Usage: sysbench [options]... [testname] [command] Commands implemented by most tests: prepare run cleanup help General options: --threads=N number of threads to use [1] --events=N limit for total number of events [0] --time=N limit for total execution time in seconds [10] --forced-shutdown=STRING number of seconds to wait after the --time limit before forcing shutdown, or 'off' to disable [off] --thread-stack-size=SIZE size of stack per thread [64K] --rate=N average transactions rate. 0 for unlimited rate [0] --report-interval=N periodically report intermediate statistics with a specified interval in seconds. 0 disables intermediate reports [0] --report-checkpoints=[LIST,...] dump full statistics and reset all counters at specified points in time. The argument is a list of comma-separated values representing the amount of time in seconds elapsed from start of test when report checkpoint(s) must be performed. Report checkpoints are off by default. [] --debug[=on|off] print more debugging info [off] --validate[=on|off] perform validation checks where possible [off] --help[=on|off] print help and exit [off] --version[=on|off] print version and exit [off] --config-file=FILENAME File containing command line options --tx-rate=N deprecated alias for --rate [0] --max-requests=N deprecated alias for --events [0] --max-time=N deprecated alias for --time [0] --num-threads=N deprecated alias for --threads [1] Pseudo-Random Numbers Generator options: --rand-type=STRING random numbers distribution {uniform,gaussian,special,pareto} [special] --rand-spec-iter=N number of iterations used for numbers generation [12] --rand-spec-pct=N percentage of values to be treated as 'special' (for special distribution) [1] --rand-spec-res=N percentage of 'special' values to use (for special distribution) [75] --rand-seed=N seed for random number generator. When 0, the current time is used as a RNG seed. [0] --rand-pareto-h=N parameter h for pareto distribution [0.2] Log options: --verbosity=N verbosity level {5 - debug, 0 - only critical messages} [3] --percentile=N percentile to calculate in latency statistics (1-100). Use the special value of 0 to disable percentile calculations [95] --histogram[=on|off] print latency histogram in report [off] General database options: --db-driver=STRING specifies database driver to use ('help' to get list of available drivers) [mysql] --db-ps-mode=STRING prepared statements usage mode {auto, disable} [auto] --db-debug[=on|off] print database-specific debug information [off] Compiled-in database drivers: mysql - MySQL driver pgsql - PostgreSQL driver mysql options: --mysql-host=[LIST,...] MySQL server host [localhost] --mysql-port=[LIST,...] MySQL server port [3306] --mysql-socket=[LIST,...] MySQL socket --mysql-user=STRING MySQL user [sbtest] --mysql-password=STRING MySQL password [] --mysql-db=STRING MySQL database name [sbtest] --mysql-ssl[=on|off] use SSL connections, if available in the client library [off] --mysql-ssl-cipher=STRING use specific cipher for SSL connections [] --mysql-compression[=on|off] use compression, if available in the client library [off] --mysql-debug[=on|off] trace all client library calls [off] --mysql-ignore-errors=[LIST,...] list of errors to ignore, or "all" [1213,1020,1205] --mysql-dry-run[=on|off] Dry run, pretend that all MySQL client API calls are successful without executing them [off] pgsql options: --pgsql-host=STRING PostgreSQL server host [localhost] --pgsql-port=N PostgreSQL server port [5432] --pgsql-user=STRING PostgreSQL user [sbtest] --pgsql-password=STRING PostgreSQL password [] --pgsql-db=STRING PostgreSQL database name [sbtest] Compiled-in tests: fileio - File I/O test cpu - CPU performance test memory - Memory functions speed test threads - Threads subsystem performance test mutex - Mutex performance test
基本語法如下:
sysbench [options]... [testname] [command]
command 是sysbench要執行的命令,包括prepare、run和cleanup。prepare是為測試提前準備數據,run是執行正式的測試,cleanup是在測試完成後對資料庫進行清理
testname 指定了要進行的測試,在老版本的sysbench中,可以通過--test參數指定測試的腳本;而在新版本中,--test參數已經聲明為廢棄,可以不使用--test,而是直接指定腳本。測試時使用的腳本為lua腳本,可以使用sysbench自帶腳本,也可以自己開發。
options 關於MySQL的主要包括MySQL 連接信息參數 和 MySQL 執行相關的參數。
4 測試
Step 1 準備壓測數據
sysbench /usr/share/sysbench/oltp_insert.lua --mysql-host=XXX.XXX.XXX.XXX --mysql-port=3306 --mysql-user=testsbuser --mysql-password='textpwd' --mysql-db=tssysbench --db-driver=mysql --tables=15 --table-size=500000 --report-interval=10 --threads=128 --time=120 prepare
step 2 壓測
sysbench /usr/share/sysbench/oltp_insert.lua --mysql-host=XXX.XXX.XXX.XXX --mysql-port=3306 --mysql-user=testsbuser --mysql-password='textpwd' --mysql-db=tssysbench --db-driver=mysql --tables=15 --table-size=500000 --report-interval=10 --threads=128 --time=120 run
也可以將測試結果導出到文件中,便於後續分析。
sysbench /usr/share/sysbench/oltp_insert.lua --mysql-host=XXX.XXX.XXX.XXX --mysql-port=3306 --mysql-user=testsbuser --mysql-password='testpwd' --mysql-db=tssysbench --db-driver=mysql --tables=15 --table-size=500000 --report-interval=10 --threads=128 --time=120 run >> ./mysysbench.log
step 3 清理壓測數據
sysbench /usr/share/sysbench/oltp_insert.lua --mysql-host=XXX.XXX.XXX.XXX --mysql-port=3306 --mysql-user=testsbuser --mysql-password='testpwd' --mysql-db=tssysbench --db-driver=mysql --tables=15 --table-size=500000 --report-interval=10 --threads=128 --time=120 cleanup
補充
OLTP基準測試模擬了一個簡單的事務處理系統的工作負載。若要對資料庫性能進行測試就要使用OLTP相關的腳本。
在/usr/share/sysbench/目錄下有相關的lua腳本:
壓測結果中包含了很多的信息,其中重點需要我們關註的信息是:
A:總的事務數 (total number of events);
B:每秒事務數;
C:時間統計信息(最小,平均,最大響應時間,以及95%百分比響應時間);
D:線程公平性統計信息,表示負載的公平性(thread-fairness)。
5.註意事項
(1) 測試資料庫需要提前創建,及時測試賬號擁有創建資料庫的許可權。
--mysql-db 參數指定了測試的數據,預設是sbtest。
不提前創建,報錯信息如下;
FATAL: `sysbench.cmdline.call_command' function failed: /usr/share/sysbench/oltp_common.lua:83: connection creation failed (last message repeated 3 times) FATAL: error 1049: Unknown database 'sysbench_db' FATAL: `sysbench.cmdline.call_command' function failed: /usr/share/sysbench/oltp_common.lua:83: connection creation failed FATAL: unable to connect to MySQL server on host 'XXX.XXX.XXX.XXX', port 3306, aborting... (last message repeated 1 times) FATAL: error 1049: Unknown database 'sysbench_db' (last message repeated 1 times)
或是(不指定資料庫)
FATAL: `sysbench.cmdline.call_command' function failed: /usr/share/sysbench/oltp_common.lua:83: connection creation failed FATAL: error 1049: Unknown database 'sbtest' FATAL: unable to connect to MySQL server on host 'XXX.XXX.XXX.XXX', port 3306, aborting...
(2)不要在MySQL伺服器運行的機器上進行測試,一方面可能無法體現網路(哪怕是區域網)的影響,另一方面,sysbench的運行(尤其是設置的併發數較高時)會影響MySQL伺服器的表現.
(3)逐步增加客戶端的併發連接數(--thread參數),觀察在連接數不同情況下,MySQL伺服器的表現。
(4)如果連續進行多次測試,註意確保之前測試的數據已經被清理乾凈。
(5)如果生成的報告,圖形化分析,可以通過gnuplot工具進行分析。