記一次 .NET 某感測器採集系統 線程爆高分析

来源:https://www.cnblogs.com/huangxincheng/archive/2023/03/30/17272068.html
-Advertisement-
Play Games

一：背景 1. 講故事 前段時間有位朋友微信找到我，說他的程式使用 hsl 庫之後，採集 plc 時記憶體溢出，讓我幫忙看一下怎麼回事，哈哈，貌似是分析之旅中的第二次和 hsl 打交道，既然找到我，那就上 windbg 說話吧。 二：WinDbg 分析 1. 為什麼會記憶體溢出 簡單觀察程式的提交記憶體之 ...


一：背景

1. 講故事

前段時間有位朋友微信找到我，說他的程式使用 hsl 庫之後，採集 plc 時記憶體溢出，讓我幫忙看一下怎麼回事，哈哈，貌似是分析之旅中的第二次和 hsl 打交道，既然找到我，那就上 windbg 說話吧。

二：WinDbg 分析

1. 為什麼會記憶體溢出

簡單觀察程式的提交記憶體之後，發現記憶體的 Stack 區非常大，隨用 !t 看了下到底有多少個線程，截圖如下：

不看不知道，一看嚇一跳，這個程式居然有近 1.5w 的線程，雖然我見過大世面(3w+線程)，但還是心有餘悸，隨用 ~*e !clrstack 看了下各個線程都在做什麼，經過一頓觀察，發現線程都卡在 Interactivelock.Enter 鎖上，截圖如下：

從代碼中看，理論上存在 Interactivelock.Enter() 和 Interactivelock.Leave() 因為各種異常導致鎖的不成對進而造成鎖污染的情況，看起來是 hsl 代碼不嚴謹造成的什麼 bug，觀察了下版本也不是最新的，而且最新版的鎖這塊也修改了邏輯，就讓朋友升級下 hsl 再觀察看看，看樣子這個問題應該輕鬆搞定了，不過我保守的說了下，如果還是遇到大量的線程，可以隨時聯繫我。

2. 真的搞定的嗎

過了一天這位朋友又找到我，說把 hsl 升級到最新版本之後還是出現了大量線程，讓我再看一下，繼續用 ~*e !clrstack 觀察各個線程棧，發現還是卡在 pipeSocket.PipeLockEnter() 這裡，這就很迷了，代碼如下：


OS Thread Id: 0x1144 (21)
        Child SP               IP Call Site
...
000000A1AFF3DE90 00007ffa9cac6e05 System.Net.Sockets.SocketPal.Connect(System.Net.Sockets.SafeSocketHandle, Byte[], Int32) [/_/src/System.Net.Sockets/src/System/Net/Sockets/SocketPal.Windows.cs @ 118]
000000A1AFF3DEE0 00007ffa9cac6c52 System.Net.Sockets.Socket.DoConnect(System.Net.EndPoint, System.Net.Internals.SocketAddress) [/_/src/System.Net.Sockets/src/System/Net/Sockets/Socket.cs @ 4415]
000000A1AFF3DF30 00007ffa9cac6a63 System.Net.Sockets.Socket.Connect(System.Net.EndPoint) [/_/src/System.Net.Sockets/src/System/Net/Sockets/Socket.cs @ 810]
000000A1AFF3DF80 00007ffa9b7bc75a HslCommunication.Core.NetSupport.CreateSocketAndConnect(System.Net.IPEndPoint, Int32, System.Net.IPEndPoint)
000000A1AFF3DFF0 00007ffa9cac8768 HslCommunication.Core.Net.NetworkBase.CreateSocketAndConnect(System.Net.IPEndPoint, Int32, System.Net.IPEndPoint)
000000A1AFF3E030 00007ffa9cac84ba HslCommunication.Core.Net.NetworkDoubleBase.CreateSocketAndInitialication()
000000A1AFF3E070 00007ffa9cac83b8 HslCommunication.Core.Net.NetworkDoubleBase.ConnectServer()
000000A1AFF3E0B0 00007ffa9c697f8b HslCommunication.Core.Net.NetworkDoubleBase.GetAvailableSocket()
000000A1AFF3E0F0 00007ffa9c697545 HslCommunication.Core.Net.NetworkDoubleBase.ReadFromCoreServer(Byte[], Boolean, Boolean)
000000A1AFF3E160 00007ffa9c6a2779 HslCommunication.Profinet.Siemens.SiemensS7Net.ReadS7AddressData(HslCommunication.Core.Address.S7AddressData[])
000000A1AFF3E1A0 00007ffa9bfedef5 HslCommunication.Profinet.Siemens.SiemensS7Net.Read(System.String, UInt16)
...

0:021> !dso
OS Thread Id: 0x1144 (21)
RSP/REG          Object           Name
000000A1AFF3E058 00000280c8ca33d8 HslCommunication.Profinet.Siemens.SiemensS7Net
000000A1AFF3E0C0 00000281c9150e58 Microsoft.Win32.SafeHandles.SafeWaitHandle
...

0:021> !gcroot 00000281c9150e58 
Thread 1144:
            ->  00000280C8CA37E8 HslCommunication.Core.SimpleHybirdLock
            ->  00000280C8CA3860 System.Lazy`1[[System.Threading.AutoResetEvent, System.Private.CoreLib]]
            ->  00000281C9150E40 System.Threading.AutoResetEvent
            ->  00000281C9150E58 Microsoft.Win32.SafeHandles.SafeWaitHandle

0:021> !do 00000280C8CA37E8
Name:        HslCommunication.Core.SimpleHybirdLock
Fields:
              MT    Field   Offset                 Type VT     Attr            Value Name
00007ffa998a71d0  4000162       14       System.Boolean  1 instance                0 disposedValue
00007ffa998ab1f0  4000163       10         System.Int32  1 instance              614 m_waiters
00007ffa9bcea5e0  4000164        8 ...Private.CoreLib]]  0 instance 00000280c8ca3860 m_waiterLock
00007ffa998ac570  4000165      2e8         System.Int64  1   static              859 simpleHybirdLockCount
00007ffa998ac570  4000166      2f0         System.Int64  1   static              857 simpleHybirdLockWaitCount

從上面的 m_waiters=614 來看，當前有 614 個線程在等待，這裡要稍微吐槽一下，建議封裝 SimpleHybirdLock 的時候最好記錄下當前誰在持有這個鎖，不然找起來太難了。。。

經過一頓摸索發現是 21號 線程正在持有 SimpleHybirdLock，正在調用 GetAvailableSocket 方法出不來，截圖如下：

3. 為什麼獲取不到 Socket

既然有 600+ 線程在等待，大概率在獲取可用 Socket 上出了什麼問題，有了這個思路我們用 !dso 去找下 Socket 的 IP 地址是什麼，看看dump中有沒有什麼異常。


0:021> !dso
OS Thread Id: 0x1144 (21)
RSP/REG          Object           Name
000000A1AFF3E350 00000281c8ac61a8 System.Object[]    (System.Object[])
000000A1AFF3EA38 00000281c9c80608 System.String    172.16.3.208
....

提取到 IP 地址之後，接下來到用 !strings 到 dump 中搜一下可有這個 ip 相關的信息，果不其然，發現有大量的 IP 超時，截圖如下：

到這裡我們大概就知道了，原來是程式跑著跑著，由於網路等各方面的問題導致 IP 不可訪問，進而引發程式系統性崩盤。

4. hsl 真的很無辜嗎

這裡沒有任何針對性，只是從技術上進行一下探討，先上一下 hsl 對這塊的處理，簡化後如下：



public OperateResult<byte[]> ReadFromCoreServer(byte[] send, bool hasResponseData, bool usePackAndUnpack = true)
{
    OperateResult<byte[]> operateResult = new OperateResult<byte[]>();
    OperateResult<Socket> operateResult2 = null;
    pipeSocket.PipeLockEnter();
    try
    {
        operateResult2 = GetAvailableSocket();
        if (!operateResult2.IsSuccess)
        {
            pipeSocket.IsSocketError = true;
            pipeSocket.PipeLockLeave();
            operateResult.CopyErrorFromOther(operateResult2);
            return operateResult;
        }
        ExtraAfterReadFromCoreServer(operateResult3);
        pipeSocket.PipeLockLeave();
    }
    catch
    {
        pipeSocket.PipeLockLeave();
        throw;
    }
    if (!isPersistentConn)
    {
        operateResult2?.Content?.Close();
    }
    return operateResult;
}

internal static OperateResult<Socket> CreateSocketAndConnect(IPEndPoint endPoint, int timeOut, IPEndPoint local = null)
{
    int num = 0;
    while (true)
    {
        num++;
        Socket socket = new Socket(endPoint.AddressFamily, SocketType.Stream, ProtocolType.Tcp);
        HslTimeOut hslTimeOut = HslTimeOut.HandleTimeOutCheck(socket, timeOut);
        try
        {
            if (local != null)
            {
                socket.Bind(local);
            }
            socket.Connect(endPoint);
            hslTimeOut.IsSuccessful = true;
            return OperateResult.CreateSuccessResult(socket);
        }
        catch (Exception ex)
        {
            socket?.Close();
            hslTimeOut.IsSuccessful = true;
            if (hslTimeOut.GetConsumeTime() < TimeSpan.FromMilliseconds(500.0) && num < 2)
            {
                Thread.Sleep(100);
                continue;
            }
            if (hslTimeOut.IsTimeout)
            {
                return new OperateResult<Socket>(string.Format(StringResources.Language.ConnectTimeout, endPoint, timeOut) + " ms");
            }
            return new OperateResult<Socket>($"Socket Connect {endPoint} Exception -> " + ex.Message);
        }
    }
}

從代碼中可以看到，hsl 通過 catch 捕獲到了異常，但並沒有強制 throw 讓用戶自己做決斷，而是吞到了 OperateResult 返回類中，用戶層因為偷懶又沒有判斷這種異常狀態導致了此問題的發生。 從邏輯看 Socket 是一個非常基礎的功能，所以我覺得強制拋出更合理一點，逼迫用戶可以更早的強制介入。

5. 為什麼會有那麼多線程

其實還留了一個問題沒有解答，那就是為什麼會產生那麼多的線程，很顯然這是一個 hsl 強吞異常導致的副作用，上層沒有判斷 OperateResult 的異常碼，以為一切都 ok，繼續它的周期性調度，被迫生成更多的線程池線程去赴死，危機重重，那具體是怎麼調度的呢？可以觀察各個線程的創建時間即可。


0:021> ~*e .printf "tid=%x\n",@$tid ; .ttime
...
Created: Thu Mar  9 09:02:05.541 2023 (UTC + 8:00)
Kernel:  0 days 0:00:00.062
User:    0 days 0:00:00.125
tid=38e8
Created: Thu Mar  9 09:02:10.540 2023 (UTC + 8:00)
Kernel:  0 days 0:00:00.015
User:    0 days 0:00:00.000
tid=2d64
Created: Thu Mar  9 09:02:15.540 2023 (UTC + 8:00)
Kernel:  0 days 0:00:00.015
User:    0 days 0:00:00.015
tid=3aa4
Created: Thu Mar  9 09:02:20.540 2023 (UTC + 8:00)
Kernel:  0 days 0:00:00.015
User:    0 days 0:00:00.000
tid=41ec
Created: Thu Mar  9 09:02:25.540 2023 (UTC + 8:00)
Kernel:  0 days 0:00:00.203
User:    0 days 0:00:00.218
...

從各個線程的創建時間來看，大概是 5s 採集一次。

三：總結

這次事故主要是由於在設備採集的過程中 IP 出了問題 導致的線程數暴漲引發的系統性崩潰，個人覺得朋友和hsl都有一定的責任，一個不檢查錯誤碼，一個強吞異常。

圖片名稱
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 單鏈表的實現【02】：Student-Management-System
    一、問題引入 單鏈表的實現【01】：Student-Management-System 只體現了項目功能實現，未對代碼部分做出說明。 故新增隨筆進行補充說明代碼部分。 重構代碼，迭代版本：Student Mangement System(Version 2.0) 二、解決過程 基於單鏈表實現就離不開 ...
  • python中類成員修飾符
    在java，c#類的成員修飾符包括，公有、私有、程式集可用的、受保護的。 對於python來說，只有兩個成員修飾符：公有成員，私有成員 成員修飾符是來修飾誰呢？當然是修飾成員了。那麼python類的成員包括什麼呢？ python成員： 欄位，方法，屬性 每個類成員的修飾符有兩種: 公有成員:內部外部 ...
  • RocketMQ 學習
    前言 RocketMQ是阿裡巴巴旗下一款開源的MQ框架，經歷過雙十一考驗、Java編程語言實現，有非常好完整生態系統。RocketMQ作為一款純java、分散式、隊列模型的開源消息中間件，支持事務消息、順序消息、批量消息、定時消息、消息回溯等 本篇文章第一部分屬於一些核心概念和工作流程的講解；第二部 ...
  • Linux 伺服器大量的 log 日誌，如何正確看日誌快速定位錯誤？你必須學會！
    針對大量log日誌快速定位錯誤地方 動態查看日誌 tail -f catalina.ou 從頭打開日誌文件 cat catalina.ou 可以使用 >nanjiangtest.txt 輸出某個新日誌去查看 [root@yesky logs]# cat -n catalina.out |grep 7 ...
  • APS系統設計經驗分享(時間推導 - 2023.03)
    近段時間忙於各種項目和對【易排平臺】的優化，沒顧得上分享APS相關的小技巧，回頭看看小公眾號的關註人數早已達1500+，在此爭取時間寫一下這段時間在項目上及平臺優化過程中遇到的一些小技巧，以感謝諸位的關註。過去數月的解決的問題中，涉及最多的是規劃模型中，實現各種時間維度的功能，目前在平臺上也稍有成果 ...
  • 交互觸摸大屏概念整理
    呆了2個大屏行業的公司，對大屏幕有一些瞭解，所以整理下所瞭解的觸摸屏相關概念。方便自己以及進入這個行業的小伙伴們，能有個系統、快速的認知。 觸摸屏詳細的知識點，網上其實都有。整理資料過程中，我也瞭解了更多的觸摸屏知識，像聲波屏、光學屏之類的之前就沒接觸。下麵分不同的模塊，給大家介紹 交互觸摸屏類型 ...
  • C#-垃圾回收機制(GC)
    C#-垃圾回收機制(GC) 什麼是GC 官網中有這麼一句話： The garbage collector is a common language runtime component that controls the allocation and release of managed memory ...
  • WPF日曆控制項
    在 IIS 上啟用 Websocket 在 Windows Server 2012 或更高版本上啟用對 WebSocket 協議的支持： 備註 使用 IIS Express 時無需執行這些步驟 通過“管理”菜單或“伺服器管理器”中的鏈接使用“添加角色和功能”嚮導。 選擇“基於角色或基於功能的安裝”。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類