記一次 .NET 某儀器測量系統 CPU爆高分析

来源:https://www.cnblogs.com/huangxincheng/archive/2023/09/22/17722077.html
-Advertisement-
Play Games

一:背景 1. 講故事 最近也挺奇怪,看到了兩起 CPU 爆高的案例,且誘因也是一致的,覺得有一些代表性,合併分享出來幫助大家來避坑吧,閑話不多說,直接上 windbg 分析。 二:WinDbg 分析 1. CPU 真的爆高嗎 這裡要提醒一下,別人說爆高不一定真的就是爆高,我們一定要拿數據說話,可以 ...


一:背景

1. 講故事

最近也挺奇怪,看到了兩起 CPU 爆高的案例,且誘因也是一致的,覺得有一些代表性,合併分享出來幫助大家來避坑吧,閑話不多說,直接上 windbg 分析。

二:WinDbg 分析

1. CPU 真的爆高嗎

這裡要提醒一下,別人說爆高不一定真的就是爆高,我們一定要拿數據說話,可以用 !tp 觀察下。


0:000> !tp
logStart: 132
logSize: 200
CPU utilization: 59 %
Worker Thread: Total: 6 Running: 6 Idle: 0 MaxLimit: 10 MinLimit: 4
Work Request in Queue: 0
--------------------------------------
Number of Timers: 3
--------------------------------------
Completion Port Thread:Total: 2 Free: 2 MaxFree: 8 CurrentLimit: 2 MaxLimit: 10 MinLimit: 4

雖然卦中的 CPU 不低但也不是我理想的閾值,不過分析也是可以分析的,知道了 CPU 的利用率,接下來我們看下這個 CPU 猛不猛,使用 !cpuid 看下核心數。


0:000> !cpuid
CP  F/M/S  Manufacturer     MHz
 0  6,167,1  <unavailable>    199
 1  6,167,1  <unavailable>    199
 2  6,167,1  <unavailable>    199
 3  6,167,1  <unavailable>    199

只有四個核心,看樣子這 CPU 不咋地哈,接下來的問題是誰導致了 CPU 爆高呢?

2. 是誰導致的 CPU 爆高

如果你剛纔仔細看 !tp 的輸出,應該會發現這麼一句話 Total: 6 Running: 6 ,這表示當前線程池中的所有工作線程火力全開,有了這個現象,思路就比較明朗了,為什麼會火力全開,這些線程此時都在乾什麼? 我們使用 ~*e !clrstack 觀察一下。


0:000> ~*e !clrstack
...
OS Thread Id: 0x1dd8 (58)
        Child SP               IP Call Site
...
00000065F623F360 00007ffc38383a06 xxx+c__DisplayClass18_0.b__0(System.Object)
00000065F623FA00 00007ffc385680e2 System.Threading.ThreadPoolWorkQueue.Dispatch() [/_/src/libraries/System.Private.CoreLib/src/System/Threading/ThreadPoolWorkQueue.cs @ 729]
00000065F623FA90 00007ffc9638e3ee System.Threading.PortableThreadPool+WorkerThread.WorkerThreadStart() [/_/src/libraries/System.Private.CoreLib/src/System/Threading/PortableThreadPool.WorkerThread.cs @ 63]
00000065F623FBA0 00007ffc96372eaf System.Threading.Thread.StartCallback() [/_/src/coreclr/System.Private.CoreLib/src/System/Threading/Thread.CoreCLR.cs @ 105]
00000065F623FE30 00007ffc9730af03 [DebuggerU2MCatchHandlerFrame: 00000065f623fe30] 
OS Thread Id: 0x15a8 (59)
        Child SP               IP Call Site
00000065F63BE6F8 00007ffca6905d14 [InlinedCallFrame: 00000065f63be6f8] Interop+Winsock.recv(System.Net.Sockets.SafeSocketHandle, Byte*, Int32, System.Net.Sockets.SocketFlags)
00000065F63BE6F8 00007ffc38521441 [InlinedCallFrame: 00000065f63be6f8] Interop+Winsock.recv(System.Net.Sockets.SafeSocketHandle, Byte*, Int32, System.Net.Sockets.SocketFlags)
00000065F63BE6C0 00007ffc38521441 ILStubClass.IL_STUB_PInvoke(System.Net.Sockets.SafeSocketHandle, Byte*, Int32, System.Net.Sockets.SocketFlags)
00000065F63BE790 00007ffc385679d1 System.Net.Sockets.Socket.Receive(Byte[], Int32, Int32, System.Net.Sockets.SocketFlags, System.Net.Sockets.SocketError ByRef) [/_/src/libraries/System.Net.Sockets/src/System/Net/Sockets/Socket.cs @ 1473]
...
00000065F63BF140 00007ffc3838ae0b xxx+c__DisplayClass18_0.b__0(System.Object)
00000065F63BF7E0 00007ffc385680e2 System.Threading.ThreadPoolWorkQueue.Dispatch() [/_/src/libraries/System.Private.CoreLib/src/System/Threading/ThreadPoolWorkQueue.cs @ 729]
00000065F63BF870 00007ffc9638e3ee System.Threading.PortableThreadPool+WorkerThread.WorkerThreadStart() [/_/src/libraries/System.Private.CoreLib/src/System/Threading/PortableThreadPool.WorkerThread.cs @ 63]
00000065F63BF980 00007ffc96372eaf System.Threading.Thread.StartCallback() [/_/src/coreclr/System.Private.CoreLib/src/System/Threading/Thread.CoreCLR.cs @ 105]
00000065F63BFC10 00007ffc9730af03 [DebuggerU2MCatchHandlerFrame: 00000065f63bfc10] 

通過仔細觀察各個線程的線程棧,發現最多的是 xxx+c__DisplayClass18_0.b__0 方法,從底層的 PortableThreadPool 來看,這是 C# 自己封裝的線程池,說明這是由 線程池工作線程創建的,再輔助一張截圖:

接下來的方向是 xxx+c__DisplayClass18_0.b__0 為何方神聖,可能有些朋友對這種方法命名很奇怪,這裡解釋一下,一般都是 await, async 的底層弄出來的,由大量的狀態機方法所致。

3. c__DisplayClass18_0 到底寫了什麼

知道了這個方法,接下來可以用 ILSPY 去觀察下這段代碼,截圖如下:

上面這段代碼不知道大家有沒有看出什麼問題? 至少我看到這樣的代碼我就知道 CPU 為什麼會爆高了,兩點原因。

  • 偷懶,無腦往線程池丟,導致線程增多
  • 線程中方法時間複雜度高。

關於時間複雜度高,在子函數很容易就能找到諸如此類代碼,將一個 hash 用在了一個它最不擅長的地方,複雜度一下子就上來了。


public static xxx Getxxx(xxx conxx)
{
	xxx xxxInfo2 = conxxx;
	lock (xxx)
	{
		return hashxxxnfo.Where((xxxInfo x) => x.xxx == xxx.xxx && x.xxx == xxx.intPtr)?.FirstOrDefault();
	}
}

4. 其他dump呢

剛纔我也說了,最近是連續看到了兩個,另外一個也是很奇葩的,而且還更嚴重,使用 !tp 觀察一下。


0:000> !tp
CPU utilization: 92%
Worker Thread: Total: 16 Running: 16 Idle: 0 MaxLimit: 32767 MinLimit: 16
Work Request in Queue: 17
    AsyncTimerCallbackCompletion TimerInfo@000000e644d32df0
    Unknown Function: 00007fff29dc17d0  Context: 000000e136337f58
    Unknown Function: 00007fff29dc17d0  Context: 000000e136344798
    Unknown Function: 00007fff29dc17d0  Context: 000000e1363479a8
    ...
    Unknown Function: 00007fff29dc17d0  Context: 000000e135730720
    Unknown Function: 00007fff29dc17d0  Context: 000000e13573ccd8
--------------------------------------
Number of Timers: 0
--------------------------------------
Completion Port Thread:Total: 1 Free: 1 MaxFree: 32 CurrentLimit: 1 MaxLimit: 1000 MinLimit: 16

從卦中看,cpu利用率更高,線程池隊列還有任務堆積,用同樣的方式也洞察出了它的問題代碼,也是一個無腦丟。

5. 如何優化

要想把 CPU 弄下去,無非就是在 生產端消費端 進行雙向打磨。

  1. 生產端

嚴格控制線程的個數,以排隊的方式定時定量的處理,嚴禁無腦丟,因為運行的線程少了,cpu自然就下去了。

  1. 消費端

很多朋友寫代碼不註意時間複雜度,或者根本不關心,導致數據量稍微大一點,代碼就接近死迴圈,真的是無語死了,所以儘量把代碼性能優化再優化,提高單次處理速度,讓 消費端 接待能力 大大超出 生產端。

三:總結

這兩個 CPU 爆高事故還是非常經典的,根子上還是有不少初中級程式員具有 偷懶 + 無視演算法 的思維,謹以這篇讓後來的朋友少踩坑吧!

圖片名稱
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、BIO(Blocking I/O) BIO,同步阻塞IO模型,應用程式發起系統調用後會一直等待數據的請求,直至內核從磁碟獲取到數據並拷貝到用戶空間; 在一般的場景中,多線程模型下的BIO是成本較低、收益較高的方式。但是,如果在高併發的場景下,過多的創建線程,會嚴重占據系統資源,降低系統對外界響應 ...
  • 發現Java 21的StringBuilder和StringBuffer中多了repeat方法: /** * @throws IllegalArgumentException {@inheritDoc} * * @since 21 */ @Override public StringBuilder ...
  • 線程(thread)是操作系統能夠進行運算調度的最小單位。它被包含在進程之中,是進程中的實際 運作單位。一條線程指的是進程中一個單一順序的控制流,一個進程中可以併發多個線程,每條線 程並行執行不同的任務。 ...
  • 背景介紹 1,最近有一個大數據量插入的操作入庫的業務場景,需要先做一些其他修改操作,然後在執行插入操作,由於插入數據可能會很多,用到多線程去拆分數據並行處理來提高響應時間,如果有一個線程執行失敗,則全部回滾。 2,在spring中可以使用@Transactional註解去控制事務,使出現異常時會進行 ...
  • 在`Windows`操作系統中,每個進程的虛擬地址空間都被劃分為若幹記憶體塊,每個記憶體塊都具有一些屬性,如記憶體大小、保護模式、類型等。這些屬性可以通過`VirtualQueryEx`函數查詢得到。該函數可用於查詢進程虛擬地址空間中的記憶體信息的函數。它的作用類似於`Windows`操作系統中的`Task... ...
  • 大家好,我是沙漠盡頭的狼。 本方首發於Dotnet9,介紹使用dnSpy調試第三方.NET庫源碼,行文目錄: 安裝dnSpy 編寫示常式序 調試示常式序 調試.NET庫原生方法 總結 1. 安裝dnSpy dnSpy是一款功能強大的.NET程式反編譯工具,可以對.NET程式進行反編譯,代替庫文檔的功 ...
  • 框架目標 什麼是框架,框架能做到什麼? 把一個方向的技術研發做封裝,具備通用性,讓使用框架的開發者用起來很輕鬆。 屬性: 通用性 健壯性 穩定性 擴展性 高性能 組件化 跨平臺 從零開始-搭建框架 建立項目 主鍵查詢功能開發 綁定實體 一步一步的給大家推導: 一邊寫一邊測試 從零開始--搭建框架 1 ...
  • 剛開始寫文章,封裝Base基類的時候,添加了trycatch異常塊,不過當時沒有去記錄日誌,直接return了。有小伙伴勸我不要吃了Exception 其實沒有啦,項目剛開始,我覺得先做好整體結構比較好。像是蓋樓一樣。先把樓體建造出來,然後再一步一步的美化完善。 基礎的倉儲模式已經ok,Autofa ...
一周排行
    -Advertisement-
    Play Games
  • 一個自定義WPF窗體的解決方案,借鑒了呂毅老師的WPF製作高性能的透明背景的異形視窗一文,併在此基礎上增加了滑鼠穿透的功能。可以使得透明窗體的滑鼠事件穿透到下層,在下層窗體中響應。 ...
  • 在C#中使用RabbitMQ做個簡單的發送郵件小項目 前言 好久沒有做項目了,這次做一個發送郵件的小項目。發郵件是一個比較耗時的操作,之前在我的個人博客裡面回覆評論和友鏈申請是會通過發送郵件來通知對方的,不過當時只是簡單的進行了非同步操作。 那麼這次來使用RabbitMQ去統一發送郵件,我的想法是通過 ...
  • 當你使用Edge等瀏覽器或系統軟體播放媒體時,Windows控制中心就會出現相應的媒體信息以及控制播放的功能,如圖。 SMTC (SystemMediaTransportControls) 是一個Windows App SDK (舊為UWP) 中提供的一個API,用於與系統媒體交互。接入SMTC的好 ...
  • 最近在微軟商店,官方上架了新款Win11風格的WPF版UI框架【WPF Gallery Preview 1.0.0.0】,這款應用引入了前沿的Fluent Design UI設計,為用戶帶來全新的視覺體驗。 ...
  • 1.簡單使用實例 1.1 添加log4net.dll的引用。 在NuGet程式包中搜索log4net並添加,此次我所用版本為2.0.17。如下圖: 1.2 添加配置文件 右鍵項目,添加新建項,搜索選擇應用程式配置文件,命名為log4net.config,步驟如下圖: 1.2.1 log4net.co ...
  • 之前也分享過 Swashbuckle.AspNetCore 的使用,不過版本比較老了,本次演示用的示例版本為 .net core 8.0,從安裝使用開始,到根據命名空間分組顯示,十分的有用 ...
  • 在 Visual Studio 中,至少可以創建三種不同類型的類庫: 類庫(.NET Framework) 類庫(.NET 標準) 類庫 (.NET Core) 雖然第一種是我們多年來一直在使用的,但一直感到困惑的一個主要問題是何時使用 .NET Standard 和 .NET Core 類庫類型。 ...
  • WPF的按鈕提供了Template模板,可以通過修改Template模板中的內容對按鈕的樣式進行自定義。結合資源字典,可以將自定義資源在xaml視窗、自定義控制項或者整個App當中調用 ...
  • 實現了一個支持長短按得按鈕組件,單擊可以觸發Click事件,長按可以觸發LongPressed事件,長按鬆開時觸發LongClick事件。還可以和自定義外觀相結合,實現自定義的按鈕外形。 ...
  • 一、WTM是什麼 WalkingTec.Mvvm框架(簡稱WTM)最早開發與2013年,基於Asp.net MVC3 和 最早的Entity Framework, 當初主要是為瞭解決公司內部開發效率低,代碼風格不統一的問題。2017年9月,將代碼移植到了.Net Core上,併進行了深度優化和重構, ...