在Linux中,有很多命令或工具查看記憶體使用情況,今天我們來看看如何查看進程消耗、占用的記憶體情況,Linux的記憶體管理和相關概念要比Windows複雜一些。在此之前,我們需要瞭解一下Linux系統下麵有關記憶體的專用名詞和專業術語概念: 物理記憶體和虛擬記憶體 物理記憶體:就是系統硬體提供的記憶體大小,是真正... ...
在Linux中,有很多命令或工具查看記憶體使用情況,今天我們來看看如何查看進程消耗、占用的記憶體情況,Linux的記憶體管理和相關概念要比Windows複雜一些。在此之前,我們需要瞭解一下Linux系統下麵有關記憶體的專用名詞和專業術語概念:
物理記憶體和虛擬記憶體
物理記憶體:就是系統硬體提供的記憶體大小,是真正的記憶體,一般叫做記憶體條。也叫隨機存取存儲器(random access memory,RAM)又稱作“隨機存儲器”,是與CPU直接交換數據的內部存儲器,也叫主存(記憶體)。
虛擬記憶體:相對於物理記憶體,在Linux下還有一個虛擬記憶體的概念,虛擬記憶體就是為了滿足物理記憶體的不足而提出的策略,它是利用磁碟空間虛擬出的一塊邏輯記憶體,用作虛擬記憶體的磁碟空間被稱為交換空間(Swap Space)。Linux會在物理記憶體不足時,使用虛擬記憶體,內核會把暫時不用的記憶體塊信息寫到虛擬記憶體,這樣物理記憶體就得到了釋放,這塊兒記憶體就可以用於其他目的,而需要用到這些內容的時候,這些信息就會被重新從虛擬記憶體讀入物理記憶體。
Linux的buffers與cached
在Linux中經常發現空閑的記憶體很少,似乎所有的記憶體都被消耗殆盡了,錶面上看是記憶體不夠用了,很多新手看到記憶體被“消耗殆盡”非常緊張,其實這個是因為Linux系統將空閑的記憶體用來做磁碟文件數據的緩存。這個導致你的系統看起來處於記憶體非常緊急的狀況。但是實際上不是這樣。這個區別於Windows的記憶體管理。Linux會利用空閑的記憶體來做cached & buffers。
buffers是指用來給塊設備做的緩衝大小(塊設備的讀寫緩衝區),它只記錄文件系統的metadata以及 tracking in-flight pages.
Buffers are associated with a specific block device, and cover caching of filesystem metadata as well as tracking in-flight pages. The cache only contains parked file data. That is, the buffers remember what's in directories, what file permissions are, and keep track of what memory is being written from or read to for a particular block device. The cache only contains the contents of the files themselves.
cached是作為page cache的記憶體, 文件系統的cache。你讀寫文件的時候,Linux內核為了提高讀寫性能與速度,會將文件在記憶體中進行緩存,這部分記憶體就是Cache Memory(緩存記憶體)。即使你的程式運行結束後,Cache Memory也不會自動釋放。這就會導致你在Linux系統中程式頻繁讀寫文件後,你會發現可用物理記憶體會很少。其實這緩存記憶體(Cache Memory)在你需要使用記憶體的時候會自動釋放,所以你不必擔心沒有記憶體可用
Cached is the size of the page cache. Buffers is the size of in-memory block I/O buffers. Cached matters; Buffers is largely irrelevant.
Cached is the size of the Linux page cache, minus the memory in the swap cache, which is represented by SwapCached (thus the total page cache size is Cached + SwapCached). Linux performs all file I/O through the page cache. Writes are implemented as simply marking as dirty the corresponding pages in the page cache; the flusher threads then periodically write back to disk any dirty pages. Reads are implemented by returning the data from the page cache; if the data is not yet in the cache, it is first populated. On a modern Linux system, Cached can easily be several gigabytes. It will shrink only in response to memory pressure. The system will purge the page cache along with swapping data out to disk to make available more memory as needed.
Buffers are in-memory block I/O buffers. They are relatively short-lived. Prior to Linux kernel version 2.4, Linux had separate page and buffer caches. Since 2.4, the page and buffer cache are unified and Buffers is raw disk blocks not represented in the page cache—i.e., not file data. The Buffers metric is thus of minimal importance. On most systems, Buffers is often only tens of megabytes.
Linux共用記憶體
共用記憶體是進程間通信中最簡單的方式之一。共用記憶體允許兩個或更多進程訪問同一塊記憶體,就如同 malloc() 函數向不同進程返回了指向同一個物理記憶體區域的指針。當一個進程改變了這塊地址中的內容的時候,其它進程都會察覺到這個。其實所謂共用記憶體,就是多個進程間共同地使用同一段物理記憶體空間,它是通過將同一段物理記憶體映射到不同進程的虛擬空間來實現的。由於映射到不同進程的虛擬空間中,不同進程可以直接使用,不需要像消息隊列那樣進行複製,所以共用記憶體的效率很高。共用記憶體可以通過mmap()映射普通文件機制來實現,也可以System V共用記憶體機制來實現,System V是通過映射特殊文件系統shm中的文件實現進程間的共用記憶體通信,也就是說每個共用記憶體區域對應特殊文件系統shm中的一個文件。
另外,我們還必須瞭解RSS、PSS、USS等相關概念:
VSS – Virtual Set Size 虛擬耗用記憶體(包含共用庫占用的記憶體)
RSS – Resident Set Size 實際使用物理記憶體(包含共用庫占用的記憶體)
PSS – Proportional Set Size 實際使用的物理記憶體(比例分配共用庫占用的記憶體)
USS – Unique Set Size 進程獨自占用的物理記憶體(不包含共用庫占用的記憶體)
RSS(Resident set size),使用top命令可以查詢到,是最常用的記憶體指標,表示進程占用的物理記憶體大小。但是,將各進程的RSS值相加,通常會超出整個系統的記憶體消耗,這是因為RSS中包含了各進程間共用的記憶體。
PSS(Proportional set size)所有使用某共用庫的程式均分該共用庫占用的記憶體時,每個進程占用的記憶體。顯然所有進程的PSS之和就是系統的記憶體使用量。它會更準確一些,它將共用記憶體的大小進行平均後,再分攤到各進程上去。
USS(Unique set size )進程獨自占用的記憶體,它是PSS中自己的部分,它只計算了進程獨自占用的記憶體大小,不包含任何共用的部分。
所以下麵介紹的命令,有些查看進程的虛擬記憶體使用,有些是查看進程的RSS或實際物理記憶體。在講述的時候,我們會標註這些信息。
top命令查看
執行top命令後,執行SHIFT +F ,可以選擇按某列排序,例如選擇n後,就會按欄位%MEM排序
當然也可以使用shift+m 或大寫鍵M 讓top命令按欄位%MEM來排序,當然你也可以按VIRT(虛擬記憶體)、SWAP(進程使用的SWAP空間)、RES(實際使用物理記憶體,當然這裡由於涉及共用記憶體緣故,你看到的實際記憶體非常大)
%MEM -- Memory usage (RES)
A task's currently used share of available physical memory
VIRT -- virtual memory
The total amount of virtual memory used by the task. It includes all code, data and shared libraries plus pages that have been swapped out. (Note: you can define the STATSIZE=1 environment variable and the VIRT will be calculated from the /proc/#/state VmSize field.)
VIRT = SWAP + RES
SWAP -- Swapped size (kb)
The swapped out portion of a task’s total virtual memory image.
RES -- Resident size (kb)
RES = CODE + DATA.
是否有人會覺得奇怪,為什麼%MEM這一列的值加起來會大於100呢? 這個是因為這裡計算的時候包含了共用記憶體的緣故,另外由於共用記憶體的緣故,你看到進程使用VIRT或RES都非常高。由於大部分的物理記憶體通常在多個應用程式之間共用,名為實際使用物理記憶體(RSS,對應top命令裡面的RES)的這個標準的記憶體耗用衡量指標會大大高估記憶體耗用情況。
ps命令查看
使用ps命令找出占用記憶體資源最多的20個進程(數量可以任意設置)