今天我們來談談Linux的記憶體機制。 首先我們理一下概念 一、什麼是linux的記憶體機制? 我們知道,直接從物理記憶體讀寫數據要比從硬碟讀寫數據要快的多,因此,我們希望所有數據的讀取和寫入都在記憶體完成,而記憶體是有限的,這樣就引出了物理記憶體與虛擬記憶體的概念。物理記憶體就是系統硬體提供的記憶體大小,是真正的內 ...
今天我們來談談Linux的記憶體機制。
首先我們理一下概念
一、什麼是linux的記憶體機制?
我們知道,直接從物理記憶體讀寫數據要比從硬碟讀寫數據要快的多,因此,我們希望所有數據的讀取和寫入都在記憶體完成,而記憶體是有限的,這樣就引出了物理記憶體與虛擬記憶體的概念。
物理記憶體就是系統硬體提供的記憶體大小,是真正的記憶體,相對於物理記憶體,在linux下還有一個虛擬記憶體的概念,虛擬記憶體就是為了滿足物理記憶體的不足而提出的策略,它是利用磁碟空間虛擬出的一塊邏輯記憶體,用作虛擬記憶體的磁碟空間被稱為交換空間(Swap Space)。
作為物理記憶體的擴展,linux會在物理記憶體不足時,使用交換分區的虛擬記憶體,更詳細的說,就是內核會將暫時不用的記憶體塊信息寫到交換空間,這樣以來,物理記憶體得到了釋放,這塊記憶體就可以用於其它目的,當需要用到原始的內容時,這些信息會被重新從交換空間讀入物理記憶體。
Linux的記憶體管理採取的是分頁存取機制,為了保證物理記憶體能得到充分的利用,內核會在適當的時候將物理記憶體中不經常使用的數據塊自動交換到虛擬記憶體中,而將經常使用的信息保留到物理記憶體。
要深入瞭解linux記憶體運行機制,需要知道下麵提到的幾個方面:
-
Linux系統會不時的進行頁面交換操作,以保持儘可能多的空閑物理記憶體,即使並沒有什麼事情需要記憶體,Linux也會交換出暫時不用的記憶體頁面。這可以避免等待交換所需的時間。
-
Linux 進行頁面交換是有條件的,不是所有頁面在不用時都交換到虛擬記憶體,linux內核根據”最近最經常使用“演算法,僅僅將一些不經常使用的頁面文件交換到虛擬 記憶體,有時我們會看到這麼一個現象:linux物理記憶體還有很多,但是交換空間也使用了很多。其實,這並不奇怪,例如,一個占用很大記憶體的進程運行時,需 要耗費很多記憶體資源,此時就會有一些不常用頁面文件被交換到虛擬記憶體中,但後來這個占用很多記憶體資源的進程結束並釋放了很多記憶體時,剛纔被交換出去的頁面 文件並不會自動的交換進物理記憶體,除非有這個必要,那麼此刻系統物理記憶體就會空閑很多,同時交換空間也在被使用,就出現了剛纔所說的現象了。關於這點,不 用擔心什麼,只要知道是怎麼一回事就可以了。
-
交換空間的頁面在使用時會首先被交換到物理記憶體,如果此時沒有足夠的物理記憶體來容納這些頁 面,它們又會被馬上交換出去,如此以來,虛擬記憶體中可能沒有足夠空間來存儲這些交換頁面,最終會導致linux出現假死機、服務異常等問題,linux雖 然可以在一段時間內自行恢復,但是恢復後的系統已經基本不可用了。
因此,合理規劃和設計Linux記憶體的使用,是非常重要的.
在Linux 操作系統中,當應用程式需要讀取文件中的數據時,操作系統先分配一些記憶體,將數據從磁碟讀入到這些記憶體中,然後再將數據分發給應用程式;當需要往文件中寫 數據時,操作系統先分配記憶體接收用戶數據,然後再將數據從記憶體寫到磁碟上。然而,如果有大量數據需要從磁碟讀取到記憶體或者由記憶體寫入磁碟時,系統的讀寫性 能就變得非常低下,因為無論是從磁碟讀數據,還是寫數據到磁碟,都是一個很消耗時間和資源的過程,在這種情況下,Linux引入了buffers和 cached機制。
buffers與cached都是記憶體操作,用來保存系統曾經打開過的文件以及文件屬性信息,這樣當操作系統需要讀取某些文件時,會首先在buffers 與cached記憶體區查找,如果找到,直接讀出傳送給應用程式,如果沒有找到需要數據,才從磁碟讀取,這就是操作系統的緩存機制,通過緩存,大大提高了操 作系統的性能。但buffers與cached緩衝的內容卻是不同的。
buffers是用來緩衝塊設備做的,它只記錄文件系統的元數據(metadata)以及 tracking in-flight pages,而cached是用來給文件做緩衝。更通俗一點說:buffers主要用來存放目錄裡面有什麼內容,文件的屬性以及許可權等等。而cached直接用來記憶我們打開過的文件和程式。
為了驗證我們的結論是否正確,可以通過vi打開一個非常大的文件,看看cached的變化,然後再次vi這個文件,感覺一下兩次打開的速度有何異同,是不是第二次打開的速度明顯快於第一次呢?
接著執行下麵的命令:
find /* -name *.conf
看看buffers的值是否變化,然後重覆執行find命令,看看兩次顯示速度有何不同。
二、linux什麼時候開始使用虛擬記憶體(swap)?
A.[root@wenwen ~]# cat /proc/sys/vm/swappiness
60
上面這個60代表物理記憶體在使用60%的時候才會使用swap
swappiness=0的時候表示最大限度使用物理記憶體,然後才是 swap空間,
swappiness=100的時候表示積極的使用swap分區,並且把記憶體上的數據及時的搬運到swap空間裡面。
通常情況下:
swap分區設置建議是記憶體的兩倍 (記憶體小於等於4G時),如果記憶體大於4G,swap只要比記憶體大就行。另外儘量的將swappiness調低,這樣系統的性能會更好。
B.修改swappiness參數
臨時性修改:
[root@wenwen ~]# sysctl vm.swappiness=10
vm.swappiness = 10
[root@wenwen ~]# cat /proc/sys/vm/swappiness
10
永久性修改:
[root@wenwen ~]# vim /etc/sysctl.conf
加入參數:
vm.swappiness = 35
然後在直接:
[root@wenwen ~]# sysctl -p
查看是否生效:
cat /proc/sys/vm/swappiness
35
三、怎麼釋放記憶體?
一般系統是不會自動釋放記憶體的
關鍵的配置文件/proc/sys/vm/drop_caches。這個文件中記錄了緩存釋放的參數,預設值為0,也就是不釋放緩存。他的值可以為0~3之間的任意數字,代表著不同的含義:
0 – 不釋放
1 – 釋放頁緩存
2 – 釋放dentries和inodes
3 – 釋放所有緩存
實操:
很明顯多出來很多空閑的記憶體了吧
四、怎麼釋放swap?
前提:首先要保證記憶體剩餘要大於等於swap使用量,否則會宕機!根據記憶體機制,swap分區一旦釋放,所有存放在swap分區的文件都會轉存到物理記憶體上。通常通過重新掛載swap分區完成釋放swap。
a.查看當前swap分區掛載在哪?
b.關停這個分區
c.查看狀態:
e.將swap掛載到/dev/sda5上
f.查看掛載是否成功
五、一些實際的小例子?
我在設置mysql的時候,將
my.cnf文件
innodb_buffer_pool_size = 6G(我操作系統的記憶體就是6G,一般這個值設置為操作系統記憶體的80%)
這個值並不是設置的越大越好。設置的過大,會導致system的swap空間被占用,導致操作系統變慢,從而減低sql查詢的效率。
這裡你可以這麼理解,當我將這個buffer_pool_size設置得過大,跟操作系統記憶體一樣大的時候,我使用mysql,會在一段時間內調用大量的數據進記憶體,由於linux的記憶體機制,再根據最近最優的原則,將一部分數據篩選放入swap分區,而swap分區沒有及時的清理掉數據,當再次調用其它數據的時候,又會將一部分數據篩選放入swap分區,可能會出現一個現象,就是物理記憶體還有剩餘,甚至是空的,而swap分區卻是滿的。