Linux記憶體泄露案例分析和記憶體管理分享

来源:https://www.cnblogs.com/Jcloud/archive/2022/11/17/16895873.html
-Advertisement-
Play Games

作者:李遵舉 一、問題 近期我們運維同事接到線上LB(負載均衡)服務記憶體報警,運維同事反饋說LB集群有部分機器的記憶體使用率超過80%,有的甚至超過90%,而且記憶體使用率還再不停的增長。接到記憶體報警的消息,讓整個團隊都比較緊張,我們團隊負責的LB服務是零售、物流、科技等業務服務的流量入口,承接上萬個服 ...


作者:李遵舉

一、問題

近期我們運維同事接到線上LB(負載均衡)服務記憶體報警,運維同事反饋說LB集群有部分機器的記憶體使用率超過80%,有的甚至超過90%,而且記憶體使用率還再不停的增長。接到記憶體報警的消息,讓整個團隊都比較緊張,我們團隊負責的LB服務是零售、物流、科技等業務服務的流量入口,承接上萬個服務的流量轉發,一旦有故障影響業務服務比較多,必須馬上著手解決記憶體暴漲的問題。目前只是記憶體報警,暫時不影響業務,先將記憶體使用率90%以上的LB服務下線,防止記憶體過高導致LB服務崩潰,影響業務,運維同事密切關註相關的記憶體報警的消息。

二、排查過程

經過開發同學通過cat /proc/meminfo查看Slab的內核記憶體可能有泄漏。

$ cat /proc/meminfo
MemTotal:       65922868 kB
MemFree:         9001452 kB
...
Slab:           39242216 kB
SReclaimable:   38506072 kB
SUnreclaim:       736144 kB
....

通過slabtop命令分析slab發現內核中dentry對象占比高,考慮到dentry對象跟文件有關,Linux中一切皆可以為文件,這個可能跟socket文件有關,通過進一步排查發現LB服務上有個curl發送的HTTPS探測腳本,這個腳本存在dentry對象泄漏,並且在curl論壇上找到一篇文章確認了這個問題,這個文章說明瞭curl-7.19.7版本在發送HTTPS請求時,curl依賴的NSS庫存在dentry泄漏的bug,我查看一下我們curl版本就是7.19.7,問題終於真相大白了!!!

$ curl -V
curl 7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.15.3 zlib/1.2.3 libidn/1.18 libssh2/1.4.2
Protocols: tftp ftp telnet dict ldap ldaps http file https ftps scp sftp
Features: GSS-Negotiate IDN IPv6 Largefile NTLM SSL libz

$ rpm -aq|grep nss-
nss-util-3.16.1-3.el6.x86_64
nss-sysinit-3.16.1-14.el6.x86_64
nss-softokn-freebl-3.14.3-17.el6.x86_64
nss-softokn-3.14.3-17.el6.x86_64
nss-3.16.1-14.el6.x86_64
nss-tools-3.16.1-14.el6.x86_64

文章中介紹可以設置環境變數NSS_SDB_USE_CACHE修複這個bug,我們驗證通過了這個解決方案。

三、解決方案

1、目前先將探測腳本停止,在業務流量低峰時將記憶體使用率超過90%的服務先通過drop_caches清理一下緩存。

2、等大促過後,探測腳本中設置環境變數NSS_SDB_USE_CACHE,徹底修複這個問題。

四、復盤和總結

這次記憶體暴漲的問題根本原因是curl-7.19.7依賴的NSS庫存在dentry泄漏的bug導致的,探測腳本只是將這個問題暴露出來。這次問題由Linux記憶體泄漏引發的問題,因此以點帶面再次系統學習一下Linux記憶體管理的知識非常有必要,對我們以後排查記憶體暴漲的問題非常有幫助。

1)Linux記憶體定址

Linux內核主要通過虛擬記憶體管理進程的地址空間,內核進程和用戶進程都只會分配虛擬記憶體,不會分配物理記憶體,通過記憶體定址將虛擬記憶體與物理記憶體做映射。Linux內核中有三種地址,

a、邏輯地址,每個邏輯地址都由一段(segment)和偏移量(offset)組成,偏移量指明瞭從段開始的地方到實際地址之間的距離。

b、線性地址,又稱虛擬地址,是一個32個無符號整數,32位機器記憶體高達4GB,通常用十六進位數字表示,Linux進程的記憶體一般說的都是這個記憶體。

c、物理地址,用於記憶體晶元級記憶體單元定址。它們與從CPU的地址引腳發送到記憶體匯流排上的電信號對應。

Linux中的記憶體控制單元(MMU)通過一種稱為分段單元(segmentation unit)的硬體電路把一個邏輯地址轉換成線性地址,接著,第二個稱為分頁單元(paging unit)的硬體電路把線性地址轉換成一個物理地址。

 

 

 

2)Linux分頁機制

分頁單元把線性地址轉換成物理地址。線性地址被分成以固定長度為單位的組,稱為(page)。頁內部連續的線性地址被映射到連續的物理地址中。一般"頁"既指一組線性地址,又指包含這組地址中的數據。分頁單元把所有的RAM分成固定長度的頁框(page frame),也成物理頁。每一頁框包含一個頁(page),也就是說一個頁框的長度與一個頁的長度一致。頁框是主存的一部分,因此也是一個存儲區域。區分一頁和一個頁框是很重要的,前者只是一個數據塊,可以存放任何頁框或者磁碟中。把線性地址映射到物理地址的數據結構稱為頁表(page table)。頁表存放在主存中,併在啟用分頁單元之前必須有內核對頁表進行適當的初始化。

x86_64的Linux內核採用4級分頁模型,一般一頁4K,4種頁表:

a、頁全局目錄

b、頁上級目錄

c、頁中間目錄

d、頁表

頁全局目錄包含若幹頁上級目錄,頁上級目錄又依次包含若幹頁中間目錄的地址,而頁中間目錄又包含若幹頁表的地址。每個頁表項指向一個頁框。線性地址被分成5部分。

 


 

3)NUMA架構

隨著CPU進入多核時代,多核CPU通過一條數據匯流排訪問記憶體延遲很大,因此NUMA架構應運而生,NUMA架構全稱為非一致性記憶體架構 (Non Uniform Memory Architecture),系統的物理記憶體被劃分為幾個節點(node),每個node綁定不同的CPU核,本地CPU核直接訪問本地記憶體node節點延遲最小。

 


 

可以通過lscpu命令查看NUMA與CPU核的關係。

$ lscpu
Architecture:          x86_64
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                32
On-line CPU(s) list:   0-31
Thread(s) per core:    2
Core(s) per socket:    8
Socket(s):             2
NUMA node(s):          2
Vendor ID:             GenuineIntel
CPU family:            6
Model:                 62
Stepping:              4
CPU MHz:               2001.000
BogoMIPS:              3999.43
Virtualization:        VT-x
L1d cache:             32K
L1i cache:             32K
L2 cache:              256K
L3 cache:              20480K
NUMA node0 CPU(s):     0-7,16-23      #這些核綁定在numa 0
NUMA node1 CPU(s):     8-15,24-31     #這些核綁定在numa 1

4)伙伴關係演算法

Linux內核通過著名伙伴關係演算法為分配一組連續的頁框而建立一種健壯、穩定的記憶體分配策略,是內核中一種記憶體分配器,並解決了記憶體管理外碎片的問題,外碎片是指頻繁地請求和釋放不同大小的一組連續頁框,必然導致在已分配的頁框的塊分散了許多小塊的空閑頁框。

5)Slab機制

slab機制的核心思想是以對象的觀點來管理記憶體,主要是為瞭解決內部碎片,內部碎片是由於採用固定大小的記憶體分區,即以固定的大小塊為單位來分配,採用這種方法,進程所分配的記憶體可能會比所需要的大,這多餘的部分便是內部碎片。slab也是內核中一種記憶體分配器,slab分配器基於對象進行管理的,所謂的對象就是內核中的數據結構(例如:task_struct,file_struct 等)。相同類型的對象歸為一類,每當要申請這樣一個對象時,slab分配器就從一個slab列表中分配一個這樣大小的單元出去,而當要釋放時,將其重新保存在該列表中,而不是直接返回給伙伴系統,從而避免內部碎片。上面中說到的dentry對象就是通過slab分配器分配的一種對象。

slab和伙伴系統是上下級的調用關係,伙伴關係按照頁管理記憶體,slab按照位元組管理,slab先從伙伴系統獲取數個頁的記憶體,然後切成分成固定的小塊(稱為object),然後再按照聲明的對象數據結構分配對象。

6)進程記憶體分佈

所有進程都必須占用一定數量的記憶體,這些記憶體用來存放從磁碟載入的程式代碼,或存放來自用戶輸入的數據等。記憶體可以提前靜態分配和統一回收,也可以按需動態分配和回收。對於普通進程對應的記憶體空間包含5種不同的數據區:

a、代碼段(text):程式代碼在記憶體中的映射,存放函數體的二進位代碼,通常用於存放程式執行代碼(即CPU執行的機器指令)。

b、數據段(data):存放程式中已初始化且初值不為0的全局變數和靜態局部變數。數據段屬於靜態記憶體分配(靜態存儲區),可讀可寫。

c、BSS段(bss):未初始化的全局變數和靜態局部變數。

d、堆(heap):動態分配的記憶體段,大小不固定,可動態擴張(malloc等函數分配記憶體),或動態縮減(free等函數釋放)。

e、棧(stack):存放臨時創建的局部變數。

 

 

 

 

Linux內核是操作系統中優先順序最高的,內核函數申請記憶體必須及時分配適當的記憶體,用戶態進程申請記憶體被認為是不緊迫的,內核儘量推遲給用戶態的進程動態分配記憶體。

a、請求調頁,推遲到進程要訪問的頁不在RAM中時為止,引發一個缺頁異常。

b、寫時複製(COW),父、子進程共用頁框而不是複製頁框,但是共用頁框不能被修改,只有當父/子進程試圖改寫共用頁框時,內核才將共用頁框複製一個新的頁框並標記為可寫。

7)Linux記憶體檢測工具

a、free命令可以監控系統記憶體

$ free -h
              total        used        free      shared  buff/cache   available
Mem:           31Gi        13Gi       8.0Gi       747Mi        10Gi        16Gi
Swap:         2.0Gi       321Mi       1.7Gi

b、top命令查看系統記憶體以及進程記憶體

VIRT Virtual Memory Size (KiB):進程使用的所有虛擬記憶體,包括代碼(code)、數據(data)、共用庫(shared libraries),以及被換出(swap out)到交換區和映射了(map)但尚未使用(未載入實體記憶體)的部分。 RES Resident Memory Size (KiB):進程所占用的所有實體記憶體(physical memory),不包括被換出到交換區的部分。 SHR Shared Memory Size (KiB):進程可讀的全部共用記憶體,並非所有部分都包含在 RES 中。它反映了可能被其他進程共用的記憶體部分。

c、smaps文件

cat /proc/$pid/smaps查看某進程虛擬記憶體空間的分佈情況

0082f000-00852000 rw-p 0022f000 08:05 4326085    /usr/bin/nginx/sbin/nginx
Size:                140 kB
Rss:                 140 kB
Pss:                  78 kB
Shared_Clean:         56 kB
Shared_Dirty:         68 kB
Private_Clean:         4 kB
Private_Dirty:        12 kB
Referenced:          120 kB
Anonymous:            80 kB
AnonHugePages:         0 kB
Swap:                  0 kB
KernelPageSize:        4 kB
MMUPageSize:           4 kB

d、vmstat

vmstat是Virtual Meomory Statistics(虛擬記憶體統計)的縮寫,可實時動態監視操作系統的虛擬記憶體、進程、CPU活動。

## 每秒統計3次
$ vmstat 1 3
procs -----------memory---------------- ---swap-- -----io---- --system-- -----cpu-----
 r  b    swpd   free   buff  cache       si   so    bi    bo   in   cs us sy id  wa st
 0  0      0 233483840 758304 20795596    0    0     0     1    0    0  0  0 100  0  0
 0  0      0 233483936 758304 20795596    0    0     0     0 1052 1569  0  0 100  0  0
 0  0      0 233483920 758304 20795596    0    0     0     0  966 1558  0  0 100  0  0

e、meminfo文件

Linux系統中/proc/meminfo這個文件用來記錄了系統記憶體使用的詳細情況。

$ cat /proc/meminfo
MemTotal:        8052444 kB
MemFree:         2754588 kB
MemAvailable:    3934252 kB
Buffers:          137128 kB
Cached:          1948128 kB
SwapCached:            0 kB
Active:          3650920 kB
Inactive:        1343420 kB
Active(anon):    2913304 kB
Inactive(anon):   727808 kB
Active(file):     737616 kB
Inactive(file):   615612 kB
Unevictable:         196 kB
Mlocked:             196 kB
SwapTotal:       8265724 kB
SwapFree:        8265724 kB
Dirty:               104 kB
Writeback:             0 kB
AnonPages:       2909332 kB
Mapped:           815524 kB
Shmem:            732032 kB
Slab:             153096 kB
SReclaimable:      99684 kB
SUnreclaim:        53412 kB
KernelStack:       14288 kB
PageTables:        62192 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:    12291944 kB
Committed_AS:   11398920 kB
VmallocTotal:   34359738367 kB
VmallocUsed:           0 kB
VmallocChunk:          0 kB
HardwareCorrupted:     0 kB
AnonHugePages:   1380352 kB
CmaTotal:              0 kB
CmaFree:               0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
DirectMap4k:      201472 kB
DirectMap2M:     5967872 kB
DirectMap1G:     3145728 kB
總結部分中一些內容來源於《深入理解Linux內核》,一些內容根據個人理解寫出的,有不對地方歡迎指正,部分圖片來源於網路

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 這一篇問文章主要介紹元組的相關知識。 元組:不可修改的序列 與列表一樣,元組也是序列,唯一的差別在於元組是不能修改的(同樣的,字元串也不能修改)。 元組的語法很簡單。 >>> >>> 1, 2, 3 (1, 2, 3) >>> (1, 2, 3) (1, 2, 3) >>> >>> () () >> ...
  • 大家好,我是三友~~ 之前有小伙伴私信我說看源碼的時候感覺源碼很難,不知道該怎麼看,其實這有部分原因是因為沒有弄懂一些源碼實現的套路,也就是設計模式,所以本文我就總結了9種在源碼中非常常見的設計模式,併列舉了很多源碼的實現例子,希望對你看源碼和日常工作中有所幫助。 單例模式 單例模式是指一個類在一個 ...
  • 目錄 一.glut 簡介 二.猜你喜歡 零基礎 OpenGL ES 學習路線推薦 : OpenGL ES 學習目錄 >> OpenGL ES 基礎 零基礎 OpenGL ES 學習路線推薦 : OpenGL ES 學習目錄 >> OpenGL ES 特效 零基礎 OpenGL ES 學習路線推薦 : ...
  • 線程池無論是工作還是面試都是必備的技能,但是很多人對於線程池的實現原理卻一知半解,並不瞭解線程池內部的工作原理,今天一燈就帶大家一塊剖析線程池底層實現原理。 ...
  • aspnetcore上傳圖片也就是上傳文件有兩種方式,一種是通過form-data,一種是binary。 先介紹第一種form-data: 該方式需要顯示指定一個IFormFile類型,該組件會動態通過打開一個windows視窗選擇文件 及圖片。 postman演示如上,代碼如下: [HttpPos ...
  • 一:背景 1.講故事 前幾天 B 站上有位朋友讓我從高級調試的角度來解讀下 .NET7 新出來的 AOT,畢竟這東西是新的,所以這一篇我就簡單摸索一下。 二:AOT 的幾個問題 1. 如何在 .NET7 中開啟 AOT 功能 在 .NET7 中開啟 AOT 非常方便,先來段測試代碼。 interna ...
  • 前言 拋開死鎖不談,只聊性能問題,儘管鎖總能粗暴的滿足同步需求,但一旦存在競爭關係,意味著一定會有線程被阻塞,競爭越激烈,被阻塞的線程越多,上下文切換次數越多,調度成本越大,顯然在高併發的場景下會損害性能。在高併發高性能且要求線程安全的述求下,無鎖構造(非阻塞構造)閃亮登場。 參考文檔: C# - ...
  • 線程基礎 視頻已經發佈到B站 參考文章: 《Threading in C# 》(Joseph Albahari)https://www.albahari.com/threading/ 《Threading in C# 》中文翻譯(GKarch ):https://blog.gkarch.com/to ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...