【系統監控】性能監測 vmstat,mpstat,iostat

来源:https://www.cnblogs.com/bigdata1024/archive/2019/03/31/10630690.html
-Advertisement-
Play Games

一、系統整體性能監測工具：uptime uptime命令用於查看伺服器運行了多長時間以及有多少個用戶登錄，快速獲知伺服器運行的負載情況。 load average，顯示了最近1，5，15分鐘的負荷情況。 它的值代表等待CPU處理的進程數，如果CPU沒有時間處理這些進程，load average值會升 ...


一、系統整體性能監測工具：uptime

[root@WebServer ~]# uptime （同w命令輸出的第一行信息）
09:40:52 up 5 days, 57 min, 1 user, load average: 0.00, 0.00, 0.00

uptime命令用於查看伺服器運行了多長時間以及有多少個用戶登錄，快速獲知伺服器運行的負載情況。
load average，顯示了最近1，5，15分鐘的負荷情況。
它的值代表等待CPU處理的進程數，如果CPU沒有時間處理這些進程，load average值會升高；反之則會降低。
在CPU數量不同的情況下，值有所不同。

二、CPU監測：mpstat （請參考MAN手冊）

mpstat 1  111  [1秒刷新，111次]


語法：mpstat [ options... ] [ <interval> [ <count> ] ]
[root@WebServer ~]# mpstat 1
Linux 2.6.9-89.ELsmp (WebServer) 08/18/09

10:08:25 CPU %user %nice %system %iowait %irq %soft %idle intr/s
10:08:26 all 0.00 0.00 0.00 0.00 0.00 0.00 100.00 1005.00
10:08:27 all 0.00 0.00 0.00 0.12 0.00 0.00 99.88 1031.00
10:08:28 all 0.00 0.00 0.00 0.00 0.00 0.00 100.00 1009.00
10:08:29 all 0.00 0.00 0.00 0.00 0.00 0.00 100.00 1030.00
10:08:30 all 0.00 0.00 0.00 0.00 0.00 0.00 100.00 1006.00

  • 1.CPU （處理器編號，all表示所有處理器的平均數值）
    Processor number. The keyword all indicates that statistics are calculated as averages among all processors.

  • 2.%user （用戶態的CPU利用率百分比）
    Show the percentage of CPU utilization that occurred while executing at the user level (application).

  • 3.%nice （用戶態的優先順序別CPU的利用率百分比）
    Show the percentage of CPU utilization that occurred while executing at the user level with nice priority.

  • 4.%system （內核態的CPU利用率百分比）
    Show the percentage of CPU utilization that occurred while executing at the system level (kernel). Note that
    this does not include the time spent servicing interrupts or softirqs.

  • 5.%iowait （在interval間段內io的等待百分比，interval 為採樣頻率，如本文的1為每一秒鐘採樣一次）
    Show the percentage of time that the CPU or CPUs were idle during which the system had an outstanding disk I/O request.

  • 6.%irq （在interval間段內,CPU的中斷百分比）
    Show the percentage of time spent by the CPU or CPUs to service interrupts.

  • 7.%soft （在interval間段內,CPU的軟中斷百分比）
    Show the percentage of time spent by the CPU or CPUs to service softirqs. A softirq (software interrupt) is
    one of up to 32 enumerated software interrupts which can run on multiple CPUs at once.

  • 8.%idle （在interval間段內，CPU的閑置百分比，不包括I/O請求的等待）
    Show the percentage of time that the CPU or CPUs were idle and the system did not have an outstanding
    disk I/O request.

  • 9.intr/s （在interval間段內所有的CPU每秒中斷數）
    Show the total number of interrupts received per second by the CPU or CPUs.

三、記憶體監測：vmstat （請參考MAN手冊）

vmstat是一個很全面的性能分析工具，可以觀察到系統的進程狀態、記憶體使用、虛擬記憶體使用、磁碟的IO、中斷、上下文切換、CPU使用等。對於 Linux 的性能分析，100%理解 vmstat 輸出內容的含義，並能靈活應用，那對系統性能分析的能力就算是基本掌握了。

下麵是vmstat命令的輸出結果：

[root@monitor-www ~]# vmstat 1 5
procs — ———–memory——————–swap——io—– —-system— —–cpu—
r  b  swpd       free     buff      cache  si so  bi    bo       in    cs   us sy  id wa st
1 0 84780 909744 267428 1912076  0 0  20   94      0        0     2  1  95  1 0
1 2 84780 894968 267428 1912216  0 0   0 1396   2301 11337  8  3  89  0 0
1 0 84780 900680 267428 1912340  0 0 76 1428  1854 8082     7  2  90  0 0
1 0 84780 902544 267432 1912548  0 0 116 928  1655 7502    7  2  92   0 0
2 0 84780 900076 267432 1912948  0 0 180 904 1963 8703    10  3  87  0 0

對輸出解釋如下：

1）procs
a.r 列表示運行和等待CPU時間片的進程數，這個值如果長期大於系統CPU個數，就說明CPU資源不足，可以考慮增加CPU；

b.b列表示在等待資源的進程數，比如正在等待I/O或者記憶體交換等。

2）memory

a.swp 列表示切換到記憶體交換區的記憶體數量（以KB為單位）。如果swp的值不為0或者比較大，而且si、so的值長期為0，那麼這種情況一般不用擔心，不會影響系統性能；

b.free列表示當前空閑的物理記憶體數量（以KB為單位）；

c. buff列表示buffers cache的記憶體數量，一般對塊設備的讀寫才需要緩衝；

d. cache列表示page cached的記憶體數量，一般作文件系統的cached，頻繁訪問的文件都會被cached。如果cached值較大，就說明cached文件數較多。如果此時IO中的bi比較小，就說明文件系統效率比較好。

3）swap

a.si列表示由磁碟調入記憶體 ，也就是記憶體進入記憶體交換區的數量；

b.so 列表示由記憶體調入磁碟 ，也就是記憶體交換區進入記憶體的數量

c.一般情況下，si、so的值都為0，如果si、so的值長期不為0，則表示系統記憶體不足，需要考慮是否增加系統記憶體 。

4）IO

a.bi列表示從塊設備讀入的數據總量（即讀磁碟，單位KB/秒）

b.bo列表示寫入到塊設備的數據總量（即寫磁碟，單位KB/秒）
這裡設置的bi+bo參考值為1000，如果超過1000，而且wa值比較大，則表示系統磁碟IO性能瓶頸。

5）system

a.in列表示在某一時間間隔中觀察到的每秒設備中斷數；

b.cs列表示每秒產生的上下文切換次數。
上面這兩個值越大，會看到內核消耗的CPU時間就越多。

6）CPU

a.us列顯示了用戶進程消耗CPU的時間百分比。us的值比較高時，說明用戶進程消耗的CPU時間多，如果長期大於50%，需要考慮優化程式啥的。

b.sy列顯示了內核進程消耗CPU的時間百分比。sy的值比較高時，就說明內核消耗的CPU時間多；如果us+sy超過80%，就說明CPU的資源存在不足。

c.id列顯示了CPU處在空閑狀態的時間百分比；

d.wa列表示IO等待所占的CPU時間百分比。wa值越高，說明IO等待越嚴重。如果wa值超過20%，說明IO等待嚴重 。

e.st列一般不關註，虛擬機占用的時間百分比。 （Linux 2.6.11）

四、磁碟io性能監測: iostat

iostat 吞吐量

# iostat -x   1

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
                    24.13    0.00    8.22       2.50         0.00   65.15

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda              17.51   107.98    9.98   14.52   250.06   980.07    50.20     3.23  131.70   2.53   6.19

參數 -d 表示，顯示設備（磁碟）使用狀態；

-k 某些使用block為單位的列強制使用Kilobytes為單位；

1 10表示，數據顯示每隔1秒刷新一次，共顯示10次。

tin 顯示了系統為所有 tty 讀取的字元總數。

tout 顯示了系統為所有 tty 寫入的字元總數。

% user 顯示了在用戶級（應用程式）執行時產生的 CPU 使用率百分比。

% sys 顯示了在系統級（內核）執行時產生的 CPU 使用率百分比。

% idle 顯示了在 CPU 空閑並且系統沒有未完成的磁碟 I/O 請求時的時間百分比。

% iowait 顯示了 CPU 空閑期間系統有未完成的磁碟 I/O 請求時的時間百分比。

rrqm/s: 每秒進行 merge 的讀操作數目.即 delta(rmerge)/s

wrqm/s: 每秒進行 merge 的寫操作數目.即 delta(wmerge)/s

r/s: 每秒完成的讀 I/O 設備次數.即 delta(rio)/s

w/s : 每秒完成的寫 I/O 設備次數.即 delta(wio)/s

rsec/s: 每秒讀扇區數.即 delta(rsect)/s

wsec/s: 每秒寫扇區數.即 delta(wsect)/s

rkB/s: 每秒讀K位元組數.是 rsect/s 的一半,因為每扇區大小為512位元組.(需要計算)

wkB/s: 每秒寫K位元組數.是 wsect/s 的一半.(需要計算)

avgrq-sz: 平均每次設備I/O操作的數據大小 (扇區).delta(rsect+wsect)/delta(rio+wio)

avgqu-sz : 平均I/O隊列長度.即 delta(aveq)/s/1000 (因為aveq的單位為毫秒).

await: 平均每次設備I/O操作的等待時間 (毫秒).即 delta(ruse+wuse)/delta(rio+wio)

svctm: 平均每次設備I/O操作的服務時間 (毫秒).即 delta(use)/delta(rio+wio)

%util : 一秒中有百分之多少的時間用於 I/O 操作,或者說一秒中有多少時間 I/O 隊列是非空的.即 delta(use)/s/1000 (因為use的單位為毫秒)

如果 %util 接近 100%,說明產生的I/O請求太多,I/O系統已經滿負荷,該磁碟可能存在瓶頸.

idle小於70% IO壓力就較大了,一般讀取速度有較多的wait. 同時可以結合vmstat 查看查看b參數(等待資源的進程數) 和wa參數(IO等待所占用的CPU時間的百分比,高過30%時IO壓力高)

另外 await 的參數也要多和 svctm 來參考.差的過高就一定有 IO 的問題.
avgqu-sz 也是個做 IO

調優時需要註意的地方,這個就是直接每次操作的數據的大小,如果次數多,但數據拿的小的話,其實 IO 也會很小.如果數據拿的大,才IO 的數據會高.也可以通過 avgqu-sz × ( r/s or w/s ) = rsec/s or wsec/s.也就是講,讀定速度是這個來決定的.

Linux系統出現了性能問題，一般我們可以通過top、iostat、free、vmstat等命令來查看初步定位問題。其中iostat可以給我們提供豐富的IO狀態數據。

1. 基本使用

$iostat -d -k 1 10

參數 -d 表示，顯示設備（磁碟）使用狀態；-k某些使用block為單位的列強制使用Kilobytes為單位；1 10表示，數據顯示每隔1秒刷新一次，共顯示10次。

$iostat -d -k 1 10

Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn

sda 39.29 21.14 1.44 441339807 29990031

sda1 0.00 0.00 0.00 1623 523

sda2 1.32 1.43 4.54 29834273 94827104

sda3 6.30 0.85 24.95 17816289 520725244

sda5 0.85 0.46 3.40 9543503 70970116

sda6 0.00 0.00 0.00 550 236

sda7 0.00 0.00 0.00 406 0

sda8 0.00 0.00 0.00 406 0

sda9 0.00 0.00 0.00 406 0

sda10 60.68 18.35 71.43 383002263 1490928140

Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn

sda 327.55 5159.18 102.04 5056 100 sda1 0.00 0.00 0.00 0 0

tps：該設備每秒的傳輸次數（Indicate the number of transfers per second that were issued to the device.）。“一次傳輸”意思是“一次I/O請求”。多個邏輯請求可能會被合併為“一次I/O請求”。“一次傳輸”請求的大小是未知的。

kB_read/s：每秒從設備（drive expressed）讀取的數據量；

kB_wrtn/s：每秒向設備（drive expressed）寫入的數據量；

kB_read：讀取的總數據量；

kB_wrtn：寫入的總數量數據量；

這些單位都為Kilobytes。

上面的例子中，我們可以看到磁碟sda以及它的各個分區的統計數據，當時統計的磁碟總TPS是39.29，下麵是各個分區的TPS。（因為是瞬間值，所以總TPS並不嚴格等於各個分區TPS的總和）

2.-x 參數

使用-x參數我們可以獲得更多統計信息。

iostat -d -x -k 1 10

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

sda 1.56 28.31 7.80 31.49 42.51 2.92 21.26 1.46 1.16 0.03 0.79 2.62 10.28

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

sda 2.00 20.00 381.00 7.00 12320.00 216.00 6160.00 108.00 32.31 1.75 4.50 2.17 84.20

rrqm/s：每秒這個設備相關的讀取請求有多少被Merge了（當系統調用需要讀取數據的時候，VFS將請求發到各個FS，如果FS發現不同的讀取請求讀取的是相同Block的數據，FS會將這個請求合併Merge）；wrqm/s：每秒這個設備相關的寫入請求有多少被Merge了。

rsec/s：每秒讀取的扇區數；wsec/：每秒寫入的扇區數。r/s：The number of read requests that were issued to the device per second；w/s：The number of write requests that were issued to the device per second；

await：每一個IO請求的處理的平均時間（單位是微秒毫秒）。這裡可以理解為IO的響應時間，一般地系統IO響應時間應該低於5ms，如果大於10ms就比較大了。

%util：在統計時間內所有處理IO時間，除以總共統計時間。例如，如果統計間隔1秒，該設備有0.8秒在處理IO，而0.2秒閑置，那麼該設備的%util = 0.8/1 = 80%，所以該參數暗示了設備的繁忙程度。一般地，如果該參數是100%表示設備已經接近滿負荷運行了 （當然如果是多磁碟，即使%util是100%，因為磁碟的併發能力，所以磁碟使用未必就到了瓶頸）。

3.-c 參數

iostat還可以用來獲取cpu部分狀態值：

iostat -c 1 10

avg-cpu: %user %nice %sys %iowait %idle 1.98 0.00 0.35 11.45 86.22

avg-cpu: %user %nice %sys %iowait %idle 1.62 0.00 0.25 34.46 63.67

4.常見用法

$iostat -d -k 1 10 
#查看TPS和吞吐量信息 iostat -d -x -k 1 10 #查看設備使用率（%util）、響應時間（await） 
iostat -c 1 10 #查看cpu狀態

5.實例分析

$iostat -d -k 1 |grep sda10

Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn

sda10 60.72 18.95 71.53 395637647 1493241908

sda10 299.02 4266.67 129.41 4352 132

sda10 483.84 4589.90 4117.17 4544 4076

sda10 218.00 3360.00 100.00 3360 100

sda10 546.00 8784.00 124.00 8784 124

sda10 827.00 13232.00 136.00 13232 136

上面看到，磁碟每秒傳輸次數平均約400；每秒磁碟讀取約5MB，寫入約1MB。

iostat -d -x -k 1

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util 

sda 1.56 28.31 7.84 31.50 43.65 3.16 21.82 1.58 1.19 0.03 0.80 2.61 10.29

sda 1.98 24.75 419.80 6.93 13465.35 253.47 6732.67 126.73 32.15 2.00 4.70 2.00 85.25

sda 3.06 41.84 444.90 54.08 14204.08 2048.98 7102.04 1024.49 32.57 2.10 4.21 1.85 92.24

可以看到磁碟的平均響應時間<5ms，磁碟使用率>80。磁碟響應正常，但是已經很繁忙了。

五、網路監測： lsof （請參考MAN手冊）

由於公司的程式要在一個埠監聽，所以要監測該埠的狀態信息。這裡用22埠講解

[root@WebServer ~]# lsof -i:22
COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME
sshd 11664 root 3u IPv6 109820 TCP 192.168.0.157:22->192.168.0.99:1174 (ESTABLISHED)
sshd 24927 root 3u IPv6 62643 TCP *:22 (LISTEN)

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 深入理解記憶體映射mmap
    記憶體映射mmap是Linux內核的一個重要機制，它和虛擬記憶體管理以及文件IO都有直接的關係，這篇細說一下mmap的一些要點。 修改（2015 11 12）：Linux的虛擬記憶體管理是基於mmap來實現的。vm_area_struct是在mmap的時候創建的，vm_area_strcut代表了一段連續 ...
  • ubuntu 安裝linux 下vmVMware tools 步驟及問題解決
    一. 菜單欄 “虛擬機” ——》 “設置 ” 使用linux.so鏡像文件 此文件在vmware workstation 的安裝目錄。並且打開CD/DVD的連接。 二.終端執行如下命令 mount /dev/cdrom /mnt/cdrom 掛載 cd /mnt/cdrom cp VMwareXXX ...
  • Linux下普通IO文件操作函數---C語言
    普通文件IO總結 FILE結構體 打開文件fopen函數 文件指針名=fopen(文件名，使用文件方式) eg: 打開方式有： fopen若過出錯則，返回一個NULL可以用作錯誤異常處理的判斷條件； fclose函數 用於關閉當前文件 fclose(FILE*)；返回值為0表示正確，非零錯誤。 文件 ...
  • linux 學習第十六天（Samba配置）
    Samba 服務 yum install samba mv smb.conf smb.conf.bak cat smb.conf.bak | grep -v "#" | grep -v ";" | grep -v "^$" > smb.conf 與系統用戶映射關係 初次創建用戶samba資料庫 pd ...
  • Linux-Centon7安裝以及配置
    環境：MacOS 10.13.6 虛擬機：VirtualBox6.0(VirtualBox-6.0.4-128413-OSX.dmg) Linux：Centos7(CentOS-7-x86_64-Minimal-1810.iso) 一：虛擬機安裝 這個。。。。真沒啥好說的。。。略過 二：虛擬機創建C ...
  • 資料庫中異常與隔離級別
    概述 資料庫相對於其它存儲軟體一個核心的特征是它支持事務，所謂事務的ACID就是原子性，一致性，隔離性和持久性。其中原子性，一致性，持久性更多是關註單個事務本身，比如，原子性要求事務中的操作要麼都提交，要麼都不提交；一致性要求事務的操作必須滿足定義的約束，包括觸發器，外鍵約束等；持久性則要求如果事務 ...
  • SQL Server統計信息偏差影響表聯結方式案例淺析
    我們知道資料庫中的統計信息的準確性是非常重要的。它會影響執行計劃。一直想寫一篇關於統計信息影響執行計劃的相關博客，但是都卡在如何構造一個合適的例子上，所以一直拖著沒有寫。巧合，最近在生產環境中遇到這麼一個案例，下麵對案例中的相關信息做了脫敏處理，有些中間步驟也省略了，只關註核心部分SQL。如下所示，... ...
  • 全國行政區劃數據（截止2019年3月）
    省市區三級數據（含港澳台釣魚島以及經濟開發區）和經緯度信息，準確有效！ ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類