記一次 .NET某質量檢測中心系統 崩潰分析

来源:https://www.cnblogs.com/huangxincheng/p/18230369
-Advertisement-
Play Games

一:背景 1. 講故事 這些天有點意思,遇到的幾個程式故障都是和Windows操作系統或者第三方組件有關係,真的有點無語,今天就帶給大家一例 IIS 相關的與大家分享,這是一家國企的.NET程式,出現了崩潰急需分析。 二:WinDbg 分析 1. 為什麼會崩潰 崩潰原因相對還是好找的,雙擊dump文 ...


一:背景

1. 講故事

這些天有點意思,遇到的幾個程式故障都是和Windows操作系統或者第三方組件有關係,真的有點無語,今天就帶給大家一例 IIS 相關的與大家分享,這是一家國企的.NET程式,出現了崩潰急需分析。

二:WinDbg 分析

1. 為什麼會崩潰

崩潰原因相對還是好找的,雙擊dump文件之後錯誤信息馬上就列出來了,參考如下:


This dump file has an exception of interest stored in it.
The stored exception information can be accessed via .ecxr.
(3950.1890): Stack overflow - code c00000fd (first/second chance not available)
For analysis of this file, run !analyze -v
eax=72ae2290 ebx=00000000 ecx=72afa1c0 edx=00000000 esi=72afa1c0 edi=01cb1d7c
eip=72afa1e6 esp=3e673000 ebp=3e673010 iopl=0         nv up ei pl zr na pe nc
cs=0023  ss=002b  ds=002b  es=002b  fs=0053  gs=002b             efl=00010246
iiscore+0x1a1e6:
72afa1e6 ff15a064b172    call    dword ptr [iiscore!GetProtocolManager+0x9370 (72b164a0)] ds:002b:72b164a0=72af5ab0

從卦中的 Stack overflow - code c00000fd 來看,這又是一個經典的棧溢出導致的崩潰,這裡棧溢出崩潰的原理就不說了,接下來觀察下是什麼代碼導致的,難道又是一個死迴圈嗎?

2. 到底是誰誘導的

要想找到是誰誘導的,肯定要看下頂層代碼是什麼,使用 k 0xffff 即可。


2732 3e6adcc0 72afa1f0     iiscore+0x1a1f0
2733 3e6adcd8 72afa1f0     iiscore+0x1a1f0
2734 3e6adcf0 72afa1f0     iiscore+0x1a1f0
2735 3e6add08 72afa1f0     iiscore+0x1a1f0
2736 3e6add20 72afa1f0     iiscore+0x1a1f0
2737 3e6add38 72afa1f0     iiscore+0x1a1f0
...
273e 3e6ade8c 734e8a9b     webengine4!W3_MGD_HANDLER::ReadEntityBody+0x134
273f 3e6adeac 60251594     webengine4!MgdReadEntityBody+0x5b
...
2762 3e6aed0c 601fecc3     System_Web_ni+0x231941
2763 3e6aee00 601fe80f     System_Web_ni+0x1decc3
2764 3e6aee28 028fe29a     System_Web_ni+0x1de80f
2765 3e6aee48 72cbfa41     0x28fe29a
2766 3e6aeea8 72cbf972     clr!UM2MThunk_Wrapper+0x76
...
276a 3e6af024 7348ab83     webengine4!W3_MGD_HANDLER::ProcessNotification+0x62
276b 3e6af038 72b3bc52     webengine4!ProcessNotificationCallback+0x33

從卦象看,它的走勢大概是 托管 -> webengine4 -> iiscore ,然後就死掉了,很顯然 iiscore 是 iis 的核心組件,可以用 lmvm 觀察下。


0:087> lmvm iiscore
Browse full module list
start    end        module name
72ae0000 72b1f000   iiscore    (export symbols)       iiscore.dll
    Loaded symbol image file: iiscore.dll
    Image path: C:\Windows\System32\inetsrv\iiscore.dll
    Image name: iiscore.dll
    Browse all global symbols  functions  data
    Timestamp:        Fri Sep  8 11:04:45 2023 (64FA8F4D)
    CheckSum:         00042ABA
    ImageSize:        0003F000
    File version:     8.5.9600.21613
    Product version:  8.5.9600.21613
    File flags:       0 (Mask 3F)
    File OS:          40004 NT Win32
    File type:        2.0 Dll
    File date:        00000000.00000000
    Translations:     0000.04b0
    Information from resource tables:
        CompanyName:      Microsoft Corporation
        ProductName:      Internet Information Services
        InternalName:     iiscore.dll
        OriginalFilename: iiscore.dll
        ProductVersion:   8.5.9600.21613
        FileVersion:      8.5.9600.21613 (winblue_ltsb.230907-1700)
        FileDescription:  IIS Web Server Core
        LegalCopyright:   © Microsoft Corporation. All rights reserved.

其實到這裡就有很大的好奇心,到底是什麼代碼這麼厲害,能導致底層的 iiscore 死迴圈,可以使用 !clrstack 觀察下托管棧。


0:087> !clrstack
OS Thread Id: 0x1890 (87)
Child SP       IP Call Site
3e6aded4 72afa1e6 [InlinedCallFrame: 3e6aded4] 
3e6aded0 60251594 DomainNeutralILStubClass.IL_STUB_PInvoke(IntPtr, Byte[], Int32, Int32, Boolean, Int32 ByRef, IntPtr ByRef)
3e6aded4 60250906 [InlinedCallFrame: 3e6aded4] System.Web.Hosting.UnsafeIISMethods.MgdReadEntityBody(IntPtr, Byte[], Int32, Int32, Boolean, Int32 ByRef, IntPtr ByRef)
3e6adf28 60250906 System.Web.Hosting.IIS7WorkerRequest.ReadEntityCoreSync(Byte[], Int32, Int32)
3e6adf64 602508b9 System.Web.Hosting.IIS7WorkerRequest.ReadEntityBody(Byte[], Int32)
3e6adf74 6020dcfc System.Web.HttpRequest.GetEntireRawContent()
3e6adfa0 6020cc50 System.Web.HttpRequest.FillInFormCollection()
3e6adfdc 6020ebb6 System.Web.HttpRequest.EnsureForm()
3e6adfec 6020eb3e System.Web.HttpRequest.get_Form()
3e6adff8 2e17391e xxx.RequestFilterModule.CheckRequest()

接下來觀察托管層的 CheckRequest() 的鏈路,截圖如下:

這簡直太不可思議了,一句平常無奇的 base.Request.Form != null 代碼,居然把IIS給弄崩掉了,很顯然問題大概率不在 托管層。

3. iiscore 在執行什麼死迴圈

托管層這條路斷了之後,接下來在回頭觀察 iiscore 處的彙編代碼,截圖如下:

由於沒有 iiscore 的源代碼,也沒有做複原的必要,但不管怎麼樣,可以看到這地方確實存在著死迴圈,我們在用戶態沒法去做修補,最後看下當前系統情況。


0:087> vertarget
Windows 8.1 Version 9600 MP (8 procs) Free x86 compatible
Product: Server, suite: TerminalServer SingleUserTS
Edition build lab: 6.3.9600.18217 (winblue_ltsb.160124-0053)
Debug session time: Tue Mar 19 10:00:33.000 2024 (UTC + 8:00)
System Uptime: 46 days 1:32:14.541
Process Uptime: 0 days 19:11:55.000
  Kernel time: 0 days 0:06:09.000
  User time: 0 days 0:14:38.000

可以看到當前是 Windows Server 2012 R2,跑的是 IIS 8.5 ,由於 IIS 是強綁到 Windows的,所以能給到的建議就是:

  1. 使用 SFC /SCANNOW 檢修下系統文件,這是某軟 CSS 的那幫人最喜歡用的命令 O(∩_∩)O
  2. 升級操作系統,提升 IIS 的版本。

三:總結

有時候程式崩潰往往不是你代碼寫的爛,極有可能是底層承載的bug導致的,甚至罪魁禍首是環境中的輻射,所以分析崩潰類的dump也挺玄學的,以後程式出問題第一時間不要大包大攬的往自己身上背,找出問題才是關鍵。
圖片名稱


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一:背景 1. 講故事 今天分享的dump是訓練營里一位學員的,從一個啥也不會到現在分析的有模有樣,真的是看他成長起來的,調試技術學會了就是真真實實自己的,話不多說,上windbg說話。 二:WinDbg 分析 1. 為什麼會卡死 這位學員是從事工控大類下的視覺自動化,也是目前.NET的主戰場,這個 ...
  • 字元串是日常編碼中最常用的引用類型了,可能沒有之一,加上字元串的不可變性、駐留性,很容易產生性能問題,因此必須全面瞭解一下。 ...
  • 安裝1.0.10以及以上版本的 Wesky.Net.OpenTools 包 包內,該功能的核心代碼如下: 自定義屬性: 實體類JSON模式生成器: 使用方式:引用上面的1.0.10版本或以上的包。如果實體類有特殊需求,例如映射為其他名稱,可以用OpenJson屬性來實現。實體類對象案例如下: 上面實 ...
  • 上一次我們講了 OpenTelemetry Logs。今天繼續來說說 OpenTelemetry Traces。 在今天的微服務和雲原生環境中,理解和監控系統的行為變得越來越重要。在當下我們實現一個功能可能需要調用了 N 個方法,涉及到 N 個服務。方法之間的調用如蜘蛛網一樣。分散式追蹤這個時候就至 ...
  • 通常我們在做一些數據過濾的操作的時候,經常需要做一些判斷再進行是否要對其進行條件過濾。 普通做法 最原始的做法我們是先通過If()判斷是否需要進行數據過濾,然後再對數據源使用Where來過濾數據。 示例如下: if(!string.IsNullOrWhiteSpace(str)) { query = ...
  • Kong和Konga攻堅一、安裝Kong 參考網址:在碼頭工人上安裝孔網關 - v3.3.x |孔文檔 (konghq.com)1、創建自定義 Docker 網路以允許容器發現和 相互溝通: docker network create kong-net您可以根據需要將此網路命名為任何名稱。我們使用 ...
  • 引言 本來博主想偷懶使用AutoUpdater.NET組件,但由於博主項目有些特殊性和它的功能過於多,於是博主自己實現一個輕量級獨立自動更新組件,可稍作修改集成到大家自己項目中,比如:WPF/Winform/Windows服務。大致思路:發現更新後,從網路上下載更新包併進行解壓,同時在 WinFor ...
  • 今天偶然知道一款叫做stylet的MVVM框架,挺小巧的,特別是它的命令觸發方式,簡單粗暴,讓人感覺很巴適,現在我做一個簡單的demo來順便來分享給大家。 本地創建一個WPF項目,此處我使用.NET 8來創建。然後引用stylet最新的nuget包。 然後刪掉App.xaml裡面自帶的啟動項 刪掉以 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...