K8s節點OOM驅逐Pod故障監控方法

来源:https://www.cnblogs.com/sss4/archive/2023/02/23/17148369.html
-Advertisement-
Play Games

前言 在K8s的Node節點上經常有其他進程和Pod爭搶記憶體資源,導致該Node出現OOM現象,最終導致運行在該Node節點上Pod被OS給Kill掉; 採用監控系統和日誌系統對該現象進行監控報警,並通過日誌系統收集的日誌進行佐證; 一、Top命令 我們平時會部署一些應用到Linux伺服器,所以經常 ...


前言

在K8s的Node節點上經常有其他進程和Pod爭搶記憶體資源,導致該Node出現OOM現象,最終導致運行在該Node節點上Pod被OS給Kill掉;

採用監控系統和日誌系統對該現象進行監控報警,並通過日誌系統收集的日誌進行佐證;

 

一、Top命令

我們平時會部署一些應用到Linux伺服器,所以經常需要瞭解伺服器的運行狀態;

Top命令是幫助我們瞭解伺服器當前的CPU、記憶體、進程狀態的實用工具;

1.快速入門

(base) [root@docker /]# top
top - 09:57:23 up 137 days, 25 min,  2 users,  load average: 0.05, 0.03, 0.05
Tasks: 148 total,   1 running, 147 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.0 us,  0.0 sy,  0.0 ni,100.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem : 32779568 total, 31119584 free,   636676 used,  1023308 buff/cache
KiB Swap:        0 total,        0 free,        0 used. 31707740 avail Mem 

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                                 
 8753 root      20   0  822868  47888   8040 S   0.7  0.1  11:52.10 python3.8                                                               
    1 root      20   0  191028   4040   2604 S   0.0  0.0   0:46.16 systemd                                                                 
    2 root      20   0       0      0      0 S   0.0  0.0   0:00.26 kthreadd                                                                
    4 root       0 -20       0      0      0 S   0.0  0.0   0:00.00 kworker/0:0H                                                            
    5 root      20   0       0      0      0 S   0.0  0.0   0:01.76 kworker/u16:0                                                           
    6 root      20   0       0      0      0 S   0.0  0.0   0:00.01 ksoftirqd/0                                                             
    7 root      rt   0       0      0      0 S   0.0  0.0   0:00.06 migration/0                                                             
    8 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rcu_bh                                                                  
    9 root      20   0       0      0      0 S   0.0  0.0   3:13.03 rcu_sched                                                               
   10 root       0 -20       0      0      0 S   0.0  0.0   0:00.00 lru-add-drain                                                           
   11 root      rt   0       0      0      0 S   0.0  0.0   0:46.57 watchdog/0                                                              
   12 root      rt   0       0      0      0 S   0.0  0.0   0:41.06 watchdog/1                                                              
   13 root      rt   0       0      0      0 S   0.0  0.0   0:00.05 migration/1                                                             
   14 root      20   0       0      0      0 S   0.0  0.0   0:00.02 ksoftirqd/1                                                             
   16 root       0 -20       0      0      0 S   0.0  0.0   0:00.00 kworker/1:0H                                                            
   17 root      rt   0       0      0      0 S   0.0  0.0   0:39.13 watchdog/2                                                              
   18 root      rt   0       0      0      0 S   0.0  0.0   0:00.07 migration/2                                                             
   19 root      20   0       0      0      0 S   0.0  0.0   0:00.01 ksoftirqd/2                                                             
   21 root       0 -20       0      0      0 S   0.0  0.0   0:00.00 kworker/2:0H                                                            
   22 root      rt   0       0      0      0 S   0.0  0.0   0:40.14 watchdog/3       

2.系統狀態概覽

第一行是對當前Linux系統情況的整體概況;

top - 09:57:23 up 137 days, 25 min,  2 users,  load average: 0.05, 0.03, 0.05

top:當前處在Top命令模式,系統時間

up:Linux操作系統運行了多久

users:當前活躍用戶

load average:5分鐘、10分鐘、15分鐘之內的CPU負載

2.1.load average

Linux系統中的Load是對當前CPU工作量的度量,簡單的說是進程隊列的長度

Load Average 就是一個時間段 (1 分鐘、5分鐘、15分鐘) 內CPU的平均 Load 。

2.2.如何衡量cpu load

假設1臺電腦只有1個CPU,所有進程中的運算任務,都必須由這1個CPU來完成。

那麼,我們不妨把這個CPU想象成1座單向通行大橋,橋上只有1根車道,所有車輛都必須從這1根車道上通過。

2.2.1.系統負荷為0

意味著大橋上1輛車也沒有。

2.2.2.系統負荷為0.5

意味著大橋的一半,被車流占用了。

2.2.3.系統負荷為1.0

意味著大橋的全部,被車流占滿了,但是直到此時該大橋還是能順暢通行的,沒有堵車;

2.2.4.系統負荷為1.7

大橋在通車的時候, 不光橋上的車流會影響通車的效率, 後面排隊等著還沒有上橋的車也增加道路的擁堵,

如果把等待進入大橋的車,也算到負載中去, 那麼Load就會 > 1.0.

例:系統負荷為1.7,意味著車輛太多了,大橋已經被占滿了(100%),後面等待上橋的車輛為大橋上車輛的70%

2.2.5.系統負荷高會造成什麼影響?

以此類推,系統負荷2.0,意味著等待上橋的車輛與橋面的車輛一樣多;

系統負荷3.0,意味著等待上橋的車輛是橋面車輛的2倍。

總之,當cpu load大於1時,後面的車輛(進程)就必須等待了,系統負荷越大,過橋的時間就越久。

2.3.cpu load和cpu使用率

CPU Load 低 CPU利用率低 :CPU資源良好,系統運行正常

CPU Load 低 CPU利用率:確定程式是否有問題,少量進程消耗大量COP計算資源

CPU Load CPU利用率:程式中IO操作比較多,導致系統出現IO瓶頸;

CPU Load CPU利用率:CPU資源不足

3.進程狀態概覽

Tasks: 148 total,   1 running, 147 sleeping,   0 stopped,   0 zombie

Tasks:當前系統中運行的進程總數

Running:當前系統中處在running  狀態的進程個數

Sleeping:當前系統中處在sleeping狀態的進程個數

Stopped:當前系統中處在Stopped狀態的進程個數

Zombie:當前系統中處在Zombie狀態的進程個數,子進程比父進程先結束,父進程無法獲取到子進程的Exit狀態,該進程稱為僵屍進程。

4.CPU狀態概覽

%Cpu(s):  0.0 us,  0.0 sy,  0.0 ni,100.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st

CPU分為用戶態和內核態

us:CPU在用戶態花費的時間 ,應該<60%

sy:CPU在內核態花費的時間,sy+us<80%

id:CPU在空閑狀態花費的時間

wa: 進程執行IO操作占用CPU的時間,<30%,不同功能的伺服器,閾值不一,郵件伺服器的wa很高;

5.記憶體使用概覽

KiB Mem : 32779568 total, 31119584 free,   636676 used,  1023308 buff/cache
KiB Swap:        0 total,        0 free,        0 used. 31707740 avail Mem 

 total:記憶體空間總和

used:已使用記憶體空間

free:空閑的記憶體空間

6.進程詳細狀態

 PID   USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM  TIME+      COMMAND                                                                 
 8753  root      20   0  822868  47888   8040 S   0.7  0.1  11:52.10   python3.8    

PID:進程編號

USER:執行進程的用戶

PR(Priority):進程優先順序,由OS決定的;(PR越低越優先被CPU調度),越低越優先

NI(Nice):進程的Nice值,用戶可以設置進程的執行優先權,root(-20到19),普通user 0-19

VIRT(Virtual memory usage ):進程“需要的”虛擬記憶體大小

RES(Resident Memory Usage):進程當前使用的記憶體大小,但不包括swap out 

SHR(Shared Memory):除了自身進程的共用記憶體,也包括其他進程的共用記憶體  

S(Status):進程狀態D(Dead)R(運行) T(跟蹤/停止)Z(僵屍)

%CPU:當前進程占用CPU時間的百分比

%MEM:當前進程占用記憶體空間的百分比

TIME+:當前進程使用CPU時間的總和

COMMAND:命令行

7.常用快捷鍵

  • shift+e:切換記憶體單位顯示格式 (可重覆按鍵切換)
  • z:換是否彩色顯示(可復按鍵換
  • m: 切換記憶體使用率顯示格式(可重覆按鍵切換)
  • e:切換底部各個進程詳細中單位的顯示模式 (可重覆按鍵切換)
  • b:切換高亮選中 (可重覆按鍵切換)
  • W:把當前配置保存到文件中,下次啟動top會使用當前的配置
  • h:進入幫助菜單(進入菜單後,可按ESC或q退出幫助菜單)
  • q:退出 top命令

8.欄位排序

top底部的進程列表信息是可以選擇指定列進行排序的

  • 按f進入欄位選擇界面
  • 按上下鍵選擇要進行排序的欄位/ space鍵選擇該欄位是否顯示
  • 按下s鍵激活這個選擇
  • 按q鍵退出排序欄位選擇界面

 

 

 

 

 

 

參考1

參考2


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 概述 裝飾器模式 允許向一個現有的對象添加新的功能,同時又不改變其結構。這種類型的設計模式屬於結構型模式,它是作為現有的類的一個包裝。這種模式創建了一個裝飾類,用來包裝原有的類,併在保持類方法簽名完整性的前提下,提供了額外的功能。 簡單理解就是動態的給一個對象添加一些額外的職責,就增加功能來說,裝飾 ...
  • 最近新接觸了GeoServer,從零開始的研究也是折磨了好幾天,發現GeoServer這塊很多大佬分享各種解決方案,也是幫了我大忙,剛好告一個段落了,所以也貢獻一下我這幾天的研究成果,希望能幫到大家。 目標:使用GeoServer自動化發佈NetCDF文件,實現部署在Linux上自動化更新圖層 環境 ...
  • 問題來自.Net開發群友 問題 我想做一個自動生成單據號的功能,但是在EFCORE里沒有行級鎖,請有什麼等價方案嗎? ChatGPT回答 在 EF Core 中確實沒有提供行級鎖(row-level locking)的功能,因為這需要對資料庫進行顯式的鎖定操作,而 EF Core 的設計理念是儘可能 ...
  • 計數器、WMI 獲取設備的記憶體信息,如系統可用運行記憶體: 1 public static async Task<double> GetMemoryAvailableAsync(FileSizeUnit fileSizeUnit = FileSizeUnit.GB) 2 { 3 return awai ...
  • 1.首先我們bios是設置正確了的。 2.ip設置正常。 3.接上屏幕斷電重啟後能正常引導到提示登錄界面。 網上查閱資料發現有人通過設置bios解決,但是我無論怎麼設置都不行,甚至改了bios之後無法正常引導。 後來發現是接上屏幕就能正常ping通,正常遠程。 問題:需要接屏幕才能遠程! 解決方法: ...
  • Prometheus安裝部署 一,下載安裝包並解壓 **下載地址:**https://github.com/prometheus/prometheus/releases 因為伺服器上下載速度太慢,所以可以提前在物理機上下載上傳到伺服器,本次安裝使用的版本為:prometheus-2.37.5.lin ...
  • 問題截圖: 問題: 本機新安裝的jenkins,之前已經將/var/lib/jenkins/.ssh/id_rsa.pub copy 到目標A主機,運行正常,今天突然出現此問題 排查: 1./etc/passwd 顯示jenkins用戶最後是/bin/false無登錄許可權 2.鑒於B主機使用同樣的構 ...
  • 準備工作 下載安裝vagrant https://releases.hashicorp.com/vagrant/2.3.4/vagrant_2.3.4_windows_amd64.msi 選擇自己需要的版本傻瓜式安裝 下載安裝vartualbox https://download.virtualbo ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...