使用dotnet-dump 查找 .net core 3.0 占用CPU 100%的原因

来源:https://www.cnblogs.com/zhouandke/archive/2019/06/23/11070114.html
-Advertisement-
Play Games

公司的產品一直緊跟 .net core 3.0 preview 不斷升級, 部署到 Linux 伺服器後, 偶爾會出現某個進程CPU占用100%. 由於服務部署在雲上, 不能使用遠程調試; 在區域網內的Linux 伺服器 或 Windows開發機上又不能重現這個問題, 聯想到Java的jstack, ...


　　公司的產品一直緊跟 .net core 3.0 preview 不斷升級, 部署到 Linux 伺服器後, 偶爾會出現某個進程CPU占用100%.
　　由於服務部署在雲上, 不能使用遠程調試; 在區域網內的Linux 伺服器 或 Windows開發機上又不能重現這個問題, 聯想到Java的jstack, 很是羡慕啊. 想到.net core 已經出來這麼久了, 還是試著找找看吧, 結果還真找到一篇博客Introducing diagnostics improvements in .NET Core 3.0

 

　　這篇文章介紹了3個工具

  • dotnet-counters: 實時統計runtime的狀況, 包括 CPU、記憶體、GC、異常等
  • dotnet-trace: 類似性能探測器
  • dotnet-dump: 程式崩潰時使用該工具

　　這次使用的是dotnet-dump, 即使程式沒有崩潰, 也可以dump程式快照, 用於分析

 

實驗環境

ubuntu-16.04.5-desktop-amd64
SDK 3.0.100-preview6-012264

 

1. 新建一個簡單Console程式(只能是 .net core 3.0的程式, 不支持 .net core 2.2), 模擬CPU占用100%的情況

mkdir NetCoreDumpTest && cd NetCoreDumpTest
dotnet new console

編輯Program.cs

namespace NetCoreDumpTest
{
    using System;
    using System.Threading.Tasks;
    class Program
    {
        static void Main(string[] args)
        {
            Task.Factory.StartNew(() => PrintNumber("Print", 5));
            Console.WriteLine("Press any key to exit.");
            Console.ReadKey();
        }

        static void PrintNumber(string message, int startNumber)
        {
            var number = startNumber;
            while (true)
                Console.WriteLine($"{message} {number++}");
        }
    }
}

 

2. 安裝dotnet-dump

dotnet tool install --global dotnet-dump --version 1.0.4-preview6.19311.1

提示

If you are using bash, you can add it to your profile by running the following command:

cat << \EOF >> ~/.bash_profile
# Add .NET Core SDK tools
export PATH="$PATH:/home/****/.dotnet/tools"
EOF

You can add it to the current session by running the following command:

export PATH="$PATH:/home/****/.dotnet/tools"

You can invoke the tool using the following command: dotnet-dump
Tool 'dotnet-dump' (version '1.0.4-preview6.19311.1') was successfully installed.

建議將 $HOME/.dotnet/tools加入到PATH, 好吧, 照著做吧, 記得使用下麵的命令使設置立即生效

source ~/.bash_profile

 

3. 使用 dotnet NetCoreDumpTest.dll 啟動我們的問題程式, 然後使用  ps -ef | grep dotnet  查看程式的進程ID, 可以看到進程ID是 3411

ps -ef | grep dotnet
z*****e     3411   1464 22 07:51 pts/8    00:00:59 dotnet NetCoreDumpTest.dll
z*****e     3431   2935  0 07:55 pts/9    00:00:00 grep --color=auto dotnet

針對進程3411, 我們還需要知道是哪個線程占CPU, 使用 top -Hp 3411 可以列出所有線程, 由於top每隔3秒刷新一次, 所以可能需要多觀察幾秒才能看到具體是哪個線程占用CPU比較高, 這裡我們可以看到是PID=3418的線程(Linux的進程ID和線程ID請自行瞭解一下).

top -Hp 3411
   PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND
  3418 z*****e    20   0 2997700  29060  22400 R 10.3  1.4   0:20.68 dotnet
  3411 z*****e    20   0 2997700  29060  22400 S  0.0  1.4   0:00.11 dotnet
  3412 z*****e    20   0 2997700  29060  22400 S  0.0  1.4   0:00.02 dotnet
  3413 z*****e    20   0 2997700  29060  22400 S  0.0  1.4   0:00.00 dotnet
  3414 z*****e    20   0 2997700  29060  22400 S  0.0  1.4   0:00.00 dotnet
  3415 z*****e    20   0 2997700  29060  22400 S  0.0  1.4   0:00.01 dotnet
  3416 z*****e    20   0 2997700  29060  22400 S  0.0  1.4   0:00.00 dotnet
  3417 z*****e    20   0 2997700  29060  22400 S  0.0  1.4   0:00.00 dotnet
  3421 z*****e    20   0 2997700  29060  22400 S  0.0  1.4   0:00.00 dotnet

 

獲取dump, 只能正對進程進行dump, 所以我們輸入的是 3411

dotnet-dump collect -p 3411
Writing minidump with heap to /tmp/core_20190623_075649
Complete

 

4. 分析

dotnet-dump analyze core_20190623_075649

使用clrthreads 查看所有線程

>clrthreads
ThreadCount:      4
UnstartedThread:  0
BackgroundThread: 3
PendingThread:    0
DeadThread:       0
Hosted Runtime:   no
                                                                                                        Lock
 DBG   ID OSID ThreadOBJ           State GC Mode     GC Alloc Context                  Domain           Count Apt Exception
   0    1  d53 0000000001307D80    20020 Preemptive  0000000000000000:0000000000000000 0000000001306450 1     Ukn
   4    2  d57 000000000135BBD0    21220 Preemptive  0000000000000000:0000000000000000 0000000001306450 0     Ukn (Finalizer)
   6    3  d59 00007F666C0009F0  1020220 Preemptive  0000000000000000:0000000000000000 0000000001306450 0     Ukn (Threadpool Worker)
   7    4  d5a 000000000130DA40  1021220 Preemptive  00007F6678106860:00007F6678106F20 0000000001306450 1     Ukn (Threadpool Worker)

我們關心的線程3418的16進位是d5a, 也就是最後一行, 它的DBG是7, 我們需要使用 setthread 7, 將其設置為  當前操作的線程

然後使用 clrstack 獲取線程調用信息

> setthread 7
> clrstack
OS Thread Id: 0xd5a (7)
        Child SP               IP Call Site
00007F6715561558 00007f671a2bd4bd [InlinedCallFrame: 00007f6715561558] Interop+Sys.Write(System.Runtime.InteropServices.SafeHandle, Byte*, Int32)
00007F6715561558 00007f669f669a9e [InlinedCallFrame: 00007f6715561558] Interop+Sys.Write(System.Runtime.InteropServices.SafeHandle, Byte*, Int32)
00007F6715561540 00007F669F669A9E ILStubClass.IL_STUB_PInvoke
00007F67155615E0 00007F669F67333E System.ConsolePal.Write(Microsoft.Win32.SafeHandles.SafeFileHandle, Byte*, Int32, Boolean)
00007F67155616A0 00007F669F67360C System.ConsolePal.Write(Microsoft.Win32.SafeHandles.SafeFileHandle, Byte[], Int32, Int32, Boolean) [/_/src/System.Console/src/System/ConsolePal.Unix.cs @ 1236]
00007F67155616C0 00007F669F672B2A System.IO.StreamWriter.Flush(Boolean, Boolean) [/_/src/System.Private.CoreLib/shared/System/IO/StreamWriter.cs @ 261]
00007F6715561710 00007F669F6729F3 System.IO.StreamWriter.WriteLine(System.String) [/_/src/System.Private.CoreLib/shared/System/IO/StreamWriter.cs @ 474]
00007F6715561760 00007F669F6727D3 System.IO.TextWriter+SyncTextWriter.WriteLine(System.String) [/_/src/System.Private.CoreLib/shared/System/IO/TextWriter.cs @ 891]
00007F67155617A0 00007F669F672770 System.Console.WriteLine(System.String) [/_/src/System.Console/src/System/Console.cs @ 550]
00007F67155617C0 00007F669F663791 NetCoreDumpTest.Program.PrintNumber(System.String, Int32) [/home/zhouke/NetCoreDumpTest/Program.cs @ 18]
00007F6715561800 00007F669F6636D9 NetCoreDumpTest.Program+<>c.<Main>b__0_0()
00007F6715561820 00007F669F1872A1 System.Threading.Tasks.Task.InnerInvoke() [/_/src/System.Private.CoreLib/shared/System/Threading/Tasks/Task.cs @ 2466]
00007F6715561840 00007F669F18CBC2 System.Threading.Tasks.Task+<>c.<.cctor>b__274_0(System.Object) [/_/src/System.Private.CoreLib/shared/System/Threading/Tasks/Task.cs @ 2445]
00007F6715561850 00007F669F171AF2 System.Threading.ExecutionContext.RunFromThreadPoolDispatchLoop(System.Threading.Thread, System.Threading.ExecutionContext, System.Threading.ContextCallback, System.Object) [/_/src/System.Private.CoreLib/shared/System/Threading/ExecutionContext.cs @ 289]
00007F6715561890 00007F669F187111 System.Threading.Tasks.Task.ExecuteWithThreadLocal(System.Threading.Tasks.Task ByRef, System.Threading.Thread) [/_/src/System.Private.CoreLib/shared/System/Threading/Tasks/Task.cs @ 2406]
00007F6715561910 00007F669F186F28 System.Threading.Tasks.Task.ExecuteEntryUnsafe(System.Threading.Thread) [/_/src/System.Private.CoreLib/shared/System/Threading/Tasks/Task.cs @ 2344]
00007F6715561930 00007F669F186EBB System.Threading.Tasks.Task.ExecuteFromThreadPool(System.Threading.Thread)
00007F6715561940 00007F669F17B754 System.Threading.ThreadPoolWorkQueue.Dispatch() [/_/src/System.Private.CoreLib/shared/System/Threading/ThreadPool.cs @ 663]
00007F67155619C0 00007F669F169A5B System.Threading._ThreadPoolWaitCallback.PerformWaitCallback() [/_/src/System.Private.CoreLib/src/System/Threading/ThreadPool.CoreCLR.cs @ 29]
00007F6715561D50 00007f6718a1ccaf [DebuggerU2MCatchHandlerFrame: 00007f6715561d50]

 

嘩啦啦一大片, 有點Java調用堆棧的味道, 不過我們還是找到了我們的問題代碼

NetCoreDumpTest.Program.PrintNumber(System.String, Int32)

 

有時候我們想知道傳入的什麼參數導致CPU占用高, 可以給clrstack加上參數 -a

> clrstack -a
..............
00007F0DD6FFC7C0 00007F0D6EEF3791 NetCoreDumpTest.Program.PrintNumber(System.String, Int32) [/home/zhouke/NetCoreDumpTest/Program.cs @ 18]
    PARAMETERS:
        message (0x00007F0DD6FFC7E8) = 0x00007f0d4800b8b0
        startNumber (0x00007F0DD6FFC7E4) = 0x0000000000000005
    LOCALS:
        0x00007F0DD6FFC7E0 = 0x000000000014e42b
        0x00007F0DD6FFC7DC = 0x0000000000000001
...............

可以看到PARAMETERS里, startNumber作為值類型, 可以直接看到數值為5, 而message是引用類型, 指向0x00007f0d4800b8b0, 這時候需要用到 dumpobj 命令

> dumpobj 0x00007f0d4800b8b0
Name:        System.String
MethodTable: 00007f0d6ef70f90
EEClass:     00007f0d6eede1c0
Size:        32(0x20) bytes
File:        /home/zhouke/dotnet/shared/Microsoft.NETCore.App/3.0.0-preview6-27804-01/System.Private.CoreLib.dll
String:      Print
Fields:
              MT    Field   Offset                 Type VT     Attr            Value Name
00007f0d6ef6a138  400022b        8         System.Int32  1 instance                5 _stringLength
00007f0d6ef66f38  400022c        c          System.Char  1 instance               50 _firstChar
00007f0d6ef70f90  400022d      108        System.String  0   static 00007f0d47fff360 Empty

好了, 可以看到它是一個字元串, 內容為 "Print"

假如message是一個複雜類型, 可以查看Fields下麵的信息進一步查看

clrstack 還有一個實驗性質的參數 -i, 協助查看各種變數信息, 需要用到lldb, 按照官方教程, 我暫時沒有實驗成功.

 

查看進程ID和線程ID, 更方便的方法是 htop(需要安裝), 然後按 F4 進行過濾, 輸入dotnet 即可

這張圖是重新運行問題程式的結果, 進程ID和線程ID與前面不一樣

第二行白色的是進程ID=1650, 第一行CPU占用高, 是問題線程ID=1658

 

 

 

End

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • BBS（仿博客園系統）項目03（主頁搭建、個人站點搭建（側邊欄分類展示、標簽展示、日期歸檔）、文章詳情頁相關功能實現）
    摘要： 主頁面的搭建（導航條下麵的區域） 個人站點 側邊欄分類展示 側邊欄標簽展示 側邊欄日期歸檔 文章詳情頁 文章內容 文章點贊點踩 文章評論 側邊欄分類展示 側邊欄標簽展示 側邊欄日期歸檔 文章內容 文章點贊點踩 文章評論 一、主頁面home.html的搭建（進一步完善） home.html頁面 ...
  • python多線程併發
    單線程執行 python的內置模塊提供了兩個內置模塊：thread和threading，thread是源生模塊，threading是擴展模塊，在thread的基礎上進行了封裝及改進。所以只需要使用threading這個模塊就能完成併發的測試 實例 創建並啟動一個單線程 執行結果 其實單線程的執行結果 ...
  • java--標準輸入輸出流
    對象操作流 可以用於讀寫任意類型的對象 ObjectOutputStream :對象輸出字元流 WriteObject ObjectInputStream ：對象輸入字元流 ReadObject 註意： 使用對象輸出流寫出對象，只能使用對象輸入流來讀取對象 只能將支持java.io.Serializ ...
  • [WPF自定義控制項庫]排序、篩選以及高亮
    1. 如何讓列表的內容更容易查找 假設有這麼一個列表(數據源在本地)，由於內容太多，要查找到其中某個想要的數據會比較困難。要優化這個列表，無非就是排序、篩選和高亮。 改造過的結果如上。 2. 排序 在WPF中要實現數據排序的功能有很多種，例如用Linq，但這種場景的標準做法是使用 "Collecti ...
  • 幾種設計良好結構以提高.NET應用性能的方法
    寫在前面 設計良好的系統，除了架構層面的優良設計外，剩下的大部分就在於如何設計良好的代碼，.NET提供了很多的類型，這些類型非常靈活，也非常好用，比如List，Dictionary、HashSet、StringBuilder、string等等。在大多數情況下，大家都是看著業務需要直接去用，似乎並沒有 ...
  • 線上轉換服務
    最近利用周末時間，終於完成了線上轉換服務的各個功能模塊。 網站地址：http://101.201.64.215:8088 主要功能： 1.Word，Excel，PPT文件轉PDF文件。 2.PDF文件轉Word文件。 3.Word，Excel，PPT，PDF文件轉圖片文件。 4.音頻轉換，音頻分割， ...
  • Colder框架硬核更新（Sharding+IOC）
    目錄 "引言" "控制反轉" "讀寫分離分庫分表" "理論基礎" "設計目標" "現狀調研" "設計思路" "實現之過五關斬六將" "動態對象" "動態模型緩存" "數據源移植" "查詢表達式樹深度移植" "數據合併演算法" "事務支持" "實際使用" "展望未來" 引言 前方硬核警告：全文乾貨110 ...
  • 異常吞噬問題一則
    問題 在一個 Timer 時鐘的周期方法內，有一個 迴圈，當執行到某些特定的語句時，會從頭開始執行，而不會執行後續的語句。 分析 該問題我在初步分析之後，發現可能是由於程式出現了異常，但是被吞噬掉造成的。在我某一個 item 元素當中，其值為 應該會拋出空異常。但是沒有異常拋出，後續我不知道哪個地方 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類