記一次 .NET某游戲幣自助機後端 記憶體暴漲分析

来源:https://www.cnblogs.com/huangxincheng/p/18243233
-Advertisement-
Play Games

一：背景 1. 講故事 前些天有位朋友找到我，說他們的程式記憶體會偶發性暴漲，自己分析了下是非托管記憶體問題，讓我幫忙看下怎麼回事？哈哈，看到這個dump我還是非常有興趣的，居然還有這種游戲幣自助機類型的程式，下次去大玩家看看他們出幣的機器後端是不是C#寫的？由於dump是linux上的程式，剛好win ...


一：背景

1. 講故事

前些天有位朋友找到我，說他們的程式記憶體會偶發性暴漲，自己分析了下是非托管記憶體問題，讓我幫忙看下怎麼回事？哈哈，看到這個dump我還是非常有興趣的，居然還有這種游戲幣自助機類型的程式，下次去大玩家看看他們出幣的機器後端是不是C#寫的？由於dump是linux上的程式，剛好windbg可以全平臺分析，太爽了，直接用windbg開乾吧。

二：WinDbg 分析

1. 到底是哪裡的泄漏

在 windows 平臺上相信有很多朋友都知道用 !address -summary 命令看，但這是專屬於windows平臺的命令，在分析linux上的dump不好使，參考如下輸出：


0:000> !address -summary

--- Usage Summary ---------------- RgnCount ----------- Total Size -------- %ofBusy %ofTotal
<unknown>                              1685     7ffc`d6725c00 ( 127.988 TB) 100.00%  100.00%
Image                                  7102        0`0b524400 ( 181.142 MB)   0.00%    0.00%

--- Type Summary (for busy) ------ RgnCount ----------- Total Size -------- %ofBusy %ofTotal
                                       2248     7ffc`02549000 ( 127.984 TB)          100.00%
MEM_PRIVATE                            6539        0`df701000 (   3.491 GB)   0.00%    0.00%

--- State Summary ---------------- RgnCount ----------- Total Size -------- %ofBusy %ofTotal
                                       2248     7ffc`02549000 ( 127.984 TB) 100.00%  100.00%
MEM_COMMIT                             6539        0`df701000 (   3.491 GB)   0.00%    0.00%

--- Protect Summary (for commit) - RgnCount ----------- Total Size -------- %ofBusy %ofTotal
PAGE_READWRITE                         2099        0`dd75e000 (   3.460 GB)   0.00%    0.00%
PAGE_EXECUTE_WRITECOPY                   33        0`00d4c000 (  13.297 MB)   0.00%    0.00%
PAGE_READONLY                          2736        0`00b01000 (  11.004 MB)   0.00%    0.00%
PAGE_EXECUTE_READ                      1671        0`00756000 (   7.336 MB)   0.00%    0.00%

--- Largest Region by Usage ----------- Base Address -------- Region Size ----------
<unknown>                                 0`00000000     55cb`2dc3b000 (  85.794 TB)
Image                                  7f71`9dbdd000        0`01b16000 (  27.086 MB)

卦中的記憶體段分類用處不大，也沒有多大的參考價值，那怎麼辦呢？其實 coreclr 團隊也考慮到了這個情況，它提供了一個 maddress 命令來實現跨平臺的 !address，更改後輸出如下：


0:000> !sos maddress
Enumerating and tagging the entire address space and caching the result...
Subsequent runs of this command should be faster.
+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+ 
 | Memory Kind            |        StartAddr |        EndAddr-1 |         Size | Type        | State       | Protect                | Image                                                             | 
 +------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+ 
 | Stack                  |     7f6e356ec000 |     7f6e35eec000 |       8.00mb | MEM_PRIVATE | MEM_COMMIT  | PAGE_READWRITE         |                                                                   | 
 | Stack                  |     7f6e35eed000 |     7f6e366ed000 |       8.00mb | MEM_PRIVATE | MEM_COMMIT  | PAGE_READWRITE         |                                                                   | 
 | Stack                  |     7f6e366ee000 |     7f6e36eee000 |       8.00mb | MEM_PRIVATE | MEM_COMMIT  | PAGE_READWRITE         |                                                                   | 
 | Stack                  |     7f6e36eef000 |     7f6e376ef000 |       8.00mb | MEM_PRIVATE | MEM_COMMIT  | PAGE_READWRITE         |                                                                   | 
 ...
 +-------------------------------------------------------------------------+ 
 | Memory Type            |          Count |         Size |   Size (bytes) | 
 +-------------------------------------------------------------------------+ 
 | Stack                  |            423 |       3.29gb |  3,528,859,648 | 
 | Image                  |          7,102 |     181.14mb |    189,940,736 | 
 | PAGE_READWRITE         |            206 |      89.18mb |     93,511,680 | 
 | GCHeap                 |              3 |      37.75mb |     39,587,840 | 
 | HighFrequencyHeap      |            395 |      24.66mb |     25,858,048 | 
 | LowFrequencyHeap       |            316 |      22.20mb |     23,277,568 | 
 | LoaderCodeHeap         |             13 |      17.00mb |     17,825,792 | 
 | ResolveHeap            |              2 |     732.00kb |        749,568 | 
 | HostCodeHeap           |              8 |     668.00kb |        684,032 | 
 | DispatchHeap           |              1 |     196.00kb |        200,704 | 
 | PAGE_EXECUTE_WRITECOPY |              6 |     184.00kb |        188,416 | 
 | CacheEntryHeap         |              3 |     164.00kb |        167,936 | 
 | IndirectionCellHeap    |              3 |     152.00kb |        155,648 | 
 | LookupHeap             |              3 |     144.00kb |        147,456 | 
 | StubHeap               |              2 |      76.00kb |         77,824 | 
 | PAGE_EXECUTE_READ      |              1 |       4.00kb |          4,096 | 
 +-------------------------------------------------------------------------+ 
 | [TOTAL]                |          8,487 |       3.65gb |  3,921,236,992 | 
 +-------------------------------------------------------------------------+

從卦中可以看到當前程式總計 3.65G 記憶體占用，基本上都被線程棧給吃掉了，更讓人意想不到的是這個線程棧居然占用 8M 的記憶體空間，這個著實有點大了，而且 linux 不像 windows 有一個 reserved 的概念，這裡的 8M 是實實在在的預占，可以觀察這 8M 的記憶體地址即可，都是初始化的 0, 這就說不過去了。


0:000> dp 7f6e356ec000 7f6e35eec000
00007f6e`356ec000  00000000`00000000 00000000`00000000
...
00007f6e`35eebfc0  00000000`00000000 00000000`00000000
00007f6e`35eebfd0  00000000`00000000 00000000`00000000
00007f6e`35eebfe0  00000000`00000000 00000000`00000000
00007f6e`35eebff0  00000000`00000000 00000000`00000000

2. 如何修改棧空間大小

一般來說不同的操作系統發行版有不同的預設棧空間配置，可以先到記憶體搜一下當前是哪一個發行版，做法就是搜索操作系統名稱主要關鍵字。


0:000> s-a 0 L?0xffffffffffffffff "centos"
...
000055cb`2ecf08c8  63 65 6e 74 6f 73 2e 37-2d 78 36 34 00 00 00 00  centos.7-x64....
...

從卦中可以看到當前操作系統是 centos7-x64，在 windows 平臺上修改棧空間大小可以修改 PE 頭，在 linux 上有兩種做法。

  • 修改 ulimit -s 參數

root@ubuntu:/data# ulimit -s
8192
root@ubuntu:/data# ulimit -s 2048
root@ubuntu:/data# ulimit -s
2048
  • 修改 DOTNET_DefaultStackSize 環境變數

DOTNET_DefaultStackSize=180000

更多可以參考文章： https://www.alexander-koepke.de/post/2023-10-18-til-dotnet-stack-size/

上面是解決問題的第一個方向，接下來我們說另一個方向，為什麼會產生總計 423 個線程呢？

3. 為什麼會有那麼多線程

要找到這個答案，需要去看每一個線程此時都在幹嘛，這個可以使用 windbg 專屬命令。


0:000> ~*e !clrstack
...
OS Thread Id: 0x4e (24)
        Child SP               IP Call Site
00007F70B20FC4B0 00007f71a4131ad8 [InlinedCallFrame: 00007f70b20fc4b0] /app/Confluent.Kafka.dll!Unknown
00007F70B20FC4B0 00007f7130299970 [InlinedCallFrame: 00007f70b20fc4b0] /app/Confluent.Kafka.dll!Unknown
00007F70B20FC4A0 00007f7130299970 ILStubClass.IL_STUB_PInvoke(IntPtr, IntPtr)
00007F70B20FC530 00007f7130309fab /app/Confluent.Kafka.dll!Unknown
00007F70B20FC880 00007f7131c5a75d /app/Confluent.Kafka.dll!Unknown
00007F70B20FC8A0 00007f7130303ebe /app/DotNetCore.CAP.Kafka.dll!Unknown
00007F70B20FC980 00007f71302f4854 /app/DotNetCore.CAP.dll!Unknown
00007F70B20FCA50 00007f7129b187f4 System.Threading.Tasks.Task.InnerInvoke() [/_/src/libraries/System.Private.CoreLib/src/System/Threading/Tasks/Task.cs @ 2387]
00007F70B20FCA70 00007f7129b1d316 System.Threading.Tasks.Task+c.<.cctor>b__272_0(System.Object) [/_/src/libraries/System.Private.CoreLib/src/System/Threading/Tasks/Task.cs @ 2375]
00007F70B20FCA80 00007f7129b03d6b System.Threading.ExecutionContext.RunInternal(System.Threading.ExecutionContext, System.Threading.ContextCallback, System.Object) [/_/src/libraries/System.Private.CoreLib/src/System/Threading/ExecutionContext.cs @ 183]
00007F70B20FCAD0 00007f7129b18524 System.Threading.Tasks.Task.ExecuteWithThreadLocal(System.Threading.Tasks.Task ByRef, System.Threading.Thread) [/_/src/libraries/System.Private.CoreLib/src/System/Threading/Tasks/Task.cs @ 2333]
00007F70B20FCB50 00007f7129b18418 System.Threading.Tasks.Task.ExecuteEntryUnsafe(System.Threading.Thread) [/_/src/libraries/System.Private.CoreLib/src/System/Threading/Tasks/Task.cs @ 2271]
00007F70B20FCB70 00007f7129b21a67 System.Threading.Tasks.ThreadPoolTaskScheduler+c.<.cctor>b__10_0(System.Object) [/_/src/libraries/System.Private.CoreLib/src/System/Threading/Tasks/ThreadPoolTaskScheduler.cs @ 35]
00007F70B20FCB80 00007f7129af88c2 System.Threading.Thread.StartCallback() [/_/src/coreclr/System.Private.CoreLib/src/System/Threading/Thread.CoreCLR.cs @ 105]
00007F70B20FCCF0 00007f71a37ab9c7 [DebuggerU2MCatchHandlerFrame: 00007f70b20fccf0] 
...

從卦中數據看有很多的 Unknown，說明dump取得不好，可能不是用正規的 dotnet-dump 或者 procdump，但不管怎麼說，還是可以看到大量的和 Kafka 有關的鏈接庫，並且從 InnerInvoke 這個執行 m_action 來看，應該是有大量線程卡在 Kafka 中的某個函數上。

有了這些知識，最後給到朋友的建議如下：

  • 修改 DOTNET_DefaultStackSize 參數

可以仿照 windows 上的 .netcore 預設 1.5M 的棧空間設置，因為8M真的太大了，扛不住，也和 Linux 的低記憶體使用不符。

  • 觀察 Kafka 的相關邏輯

畢竟有大量線程在 Kafka 的等待上，個人覺得可能是訂閱線程太多，或者什麼業務執行時間長導致的線程饑餓，儘量把線程壓下去。

三：總結

Linux 上的 .NET 調試生態在日漸豐富，這是一件讓人很興奮的事情，最後再給 WinDbg 點個贊，它不僅可以全平臺dump分析，還可以實時調試 Linux 進程，現如今的WinDbg真的是神一般的存在。
圖片名稱


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • C++面向對象語言自製多級菜單
    在處理PDF文件時，我們可能會遇到這樣的情況：原始PDF文檔不符合我們的閱讀習慣，或者需要適配不同顯示設備等。這時，我們就需要及時調整PDF文檔中的頁面尺寸，以滿足不同應用場景的需求。 利用Python語言的高效性和靈活性，再結合Spire.PDF for Python 庫的強大功能，我們可以通過P ...
  • Leetcode419 甲板上的戰艦
    最近以來，我在力扣上堅持完成每天一題，今天系統推的題目為《甲板上的戰艦》，在此記錄一下。 題目描述如下: 給你一個大小為 m x n 的矩陣 board 表示甲板，其中，每個單元格可以是一艘戰艦 'X' 或者是一個空位 '.' ，返回在甲板 board 上放置的 戰艦 的數量。 戰艦 只能水平或者垂 ...
  • 【日記】掛著相機總是被認成專業人士……（766 字）
    正文 所有鋼筆墨水都寫完了，今天先用簽字筆吧，懶得打墨水了。 這貨跟我搶被子，我沒搶贏…… 本來空調被就薄，一個人很容易就全捲上跑了。於是我半夜冷醒好多次，每次半夢半醒都要把自己的衣服下擺往下拉。這樣感覺才會好一些。 這弔人還嘲笑我搶不過，媽耶。於是早上非常困。跟他一起到了他的值班室，他開始玩植物大 ...
  • 你應如何運行程式
    你應如何運行程式 互動式命令模式 開始一個互動式會話 一般是在操作系統命令行下輸入python，且不帶任何參數 系統路徑 如果沒有設置系統的PATH環境變數來包括Python的安裝路徑，可能需要機器上Python可執行文件的完整路徑來代替python 運行的位置：代碼位置 不要輸入的內容：提示符和註 ...
  • Java整合FreeMarker導出Pdf文件
    引入依賴 <!--Freemarker wls--> <dependency> <groupId>org.freemarker</groupId> <artifactId>freemarker</artifactId> <version>2.3.30</version> </dependency> ...
  • 杭州的 IT 崩盤了麽？
    大家好，我是R哥。 今天分享一個爽飛了的面試輔導 case： 這個杭州兄弟空窗期 1 個月+，面試了 6 家公司 0 Offer，不知道問題出在哪，難道是杭州的 IT 崩盤了麽？ 報名面試輔導後，經過一個多月的輔導打磨，現在成功入職某上市公司，漲薪 30%+，955 工作制，不咋加班，還不捲。 其他 ...
  • dubbo~全局異常攔截器的使用與設計缺陷~續
    上一次的介紹，主要圍繞如何統一去捕獲異常，以及為每一種異常添加自己的Mapper實現，並且我們知道，當在ExceptionMapper中返回非200的Response，不支持application/json的響應類型，而是寫死的text/plain類型。 Filter為二方包異常手動捕獲 參考：ht ...
  • 從零手寫實現 nginx-17-nginx.conf 全局的預設配置
    前言 大家好，我是老馬。很高興遇到你。 我們為 java 開發者實現了 java 版本的 nginx https://github.com/houbb/nginx4j 如果你想知道 servlet 如何處理的，可以參考我的另一個項目： 手寫從零實現簡易版 tomcat minicat 手寫 ngin ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類