記一次 .NET某游戲後端API服務 CPU爆高分析

来源:https://www.cnblogs.com/huangxincheng/p/18087576
-Advertisement-
Play Games

一:背景 1. 講故事 前幾天有位朋友找到我,說他們的API服務程式跑著跑著CPU滿了降不下去,讓我幫忙看下怎麼回事,現在貌似民間只有我一個人專註dump分析,還是申明一下我dump分析是免費的,如果想學習.NET高級調試的分析技術,可以來我的訓練營看看,話不多說,dump分析走起! 二:WinDb ...


一:背景

1. 講故事

前幾天有位朋友找到我,說他們的API服務程式跑著跑著CPU滿了降不下去,讓我幫忙看下怎麼回事,現在貌似民間只有我一個人專註dump分析,還是申明一下我dump分析是免費的,如果想學習.NET高級調試的分析技術,可以來我的訓練營看看,話不多說,dump分析走起!

二:WinDbg分析

1. CPU 真的爆高嗎

昨天錄了一個小視頻,大意就是作為分析師,不要過分的相信客戶說的話,他們往往會把你帶偏,你要有自己的分析思路和前進方向,所以需要以數據說話,首先用 !tp 觀察下線程池。


0:030> !tp
CPU utilization: 60%
Worker Thread: Total: 18 Running: 3 Idle: 15 MaxLimit: 32767 MinLimit: 4
Work Request in Queue: 0
--------------------------------------
Number of Timers: 3
--------------------------------------
Completion Port Thread:Total: 3 Free: 1 MaxFree: 8 CurrentLimit: 1 MaxLimit: 1000 MinLimit: 4

從卦中可以看到當前的 CPU=60%,這個值說高也不高,說低也不低,接下來觀察下這台機器的cpu核心數,可以用 !cpuid 觀察。


0:030> !cpuid
CP  F/M/S  Manufacturer     MHz
 0  6,63,2  <unavailable>   2295
 1  6,63,2  <unavailable>   2295
 2  6,63,2  <unavailable>   2295
 3  6,63,2  <unavailable>   2295

真的是無語,做游戲的不都是有錢的主,難道都在降本增效嗎?既然到了 60%,說明有兩個線程估計脫軌了,接下來就需要觀察下那2個托軌線程都在做什麼?

2. 脫軌線程在幹嘛

要想觀察每個線程都在做什麼,可以使用 ~*e !clrstack 命令即可。


0:030> ~*e !clrstack
OS Thread Id: 0x3eec (30)
        Child SP               IP Call Site
0000001f8fbad610 00007ffd958535c3 System.Collections.Generic.HashSet`1[[System.__Canon, mscorlib]].Contains(System.__Canon)
0000001f8fbad680 00007ffd95372933 System.Web.HttpCookieCollection.EnsureKeyValidated(System.String, System.String)
0000001f8fbad6c0 00007ffd9483fa8d System.Web.HttpCookieCollection.Get(System.String)
0000001f8fbad700 00007ffd3d12b3da xxx.CookieHelper.Read(System.String)
...
OS Thread Id: 0x5cf0 (31)
        Child SP               IP Call Site
0000001f8d27d330 00007ffd958535b8 System.Collections.Generic.HashSet`1[[System.__Canon, mscorlib]].Contains(System.__Canon)
0000001f8d27d3a0 00007ffd95372933 System.Web.HttpCookieCollection.EnsureKeyValidated(System.String, System.String)
0000001f8d27d3e0 00007ffd9483fa8d System.Web.HttpCookieCollection.Get(System.String)
0000001f8d27d420 00007ffd3e2ab6da xxx.CookieHelper.Read(System.String)
...

仔細琢磨了一下卦象後,發現有兩個線程都停在 HashSet 上,而且這個集合還是來自於底層的 System.Web,對一般人來說這個是比較奇葩的現象,但對於我這種有300+分析經驗的熟手來說,一眼就看出來了什麼問題,對,就是多線程操控 HashSet 導致的死迴圈,接下來的問題是如何去驗證呢?畢竟空口無憑。。。

3. 真的死迴圈了嗎

要想瞭解有沒有真的死迴圈,需要你對 HashSet 的底層有一個瞭解,比如說 HashSet 掛鏈的時候在內部是如何組織的,其實這個我在.NET高級訓練營裡面也做過講解,也做過演示,接下來切到 31 號線程觀察下它的 HashSet 結構。


0:031> !mdso
Thread 31:
Location          Object            Type
------------------------------------------------------------
RCX:              000000200054ffc0  System.Collections.Generic.HashSet`1+Slot[[System.String, mscorlib]][]
RSI:              000000200054ff58  System.Collections.Generic.HashSet`1[[System.String, mscorlib]]
...
0:031> !mdt 000000200054ff58
000000200054ff58 (System.Collections.Generic.HashSet`1[[System.String, mscorlib]])
    m_buckets:000000200054ff98 (System.Int32[], Elements: 3)
    m_slots:000000200054ffc0 (System.Collections.Generic.HashSet`1+Slot[[System.String, mscorlib]][], Elements: 3, ElementMT=00007ffd95555230)
    m_count:0x0 (System.Int32)
    m_lastIndex:0x0 (System.Int32)
    m_freeList:0xffffffff (System.Int32)
    m_comparer:00000022003d3380 (System.OrdinalComparer)
    m_version:0x6 (System.Int32)
    m_siInfo:NULL (System.Runtime.Serialization.SerializationInfo)
...
0:031> !mdt -e:2 000000200054ffc0
000000200054ffc0 (System.Collections.Generic.HashSet`1+Slot[[System.String, mscorlib]][], Elements: 3, ElementMT=00007ffd95555230)
[0] (System.Collections.Generic.HashSet`1+Slot[[System.String, mscorlib]]) VALTYPE (MT=00007ffd95555230, ADDR=000000200054ffd0)
    hashCode:0xffffffff (System.Int32)
    next:0x0 (System.Int32)
    value:NULL (System.__Canon)
[1] (System.Collections.Generic.HashSet`1+Slot[[System.String, mscorlib]]) VALTYPE (MT=00007ffd95555230, ADDR=000000200054ffe0)
    hashCode:0x3eb5808c (System.Int32)
    next:0xffffffff (System.Int32)
    value:000000200054f8f0 (System.String) Length=6, String="xxx"
[2] (System.Collections.Generic.HashSet`1+Slot[[System.String, mscorlib]]) VALTYPE (MT=00007ffd95555230, ADDR=000000200054fff0)
    hashCode:0x7e225883 (System.Int32)
    next:0x1 (System.Int32)
    value:000000200054fba0 (System.String) Length=12, String="xxx"

熟悉 HashSet底層的朋友,從上面的卦信息一眼就能看出問題,對,就是這個 next:0x0,在hashset的掛鏈中,最後一個節點永遠是 -1,如果是 0 的話就相當於指向數組的首元素,最後就是無情死迴圈了,知道了前因後果之後,接下來就要尋找下到底是什麼聖神代碼。

4. 到底是什麼奇葩代碼

這個比較簡單,觀察下線程棧的托管層代碼,然後看源碼即可,為了保護客戶隱私,我就多註釋一點,輸出如下:


0:031> !clrstack
OS Thread Id: 0x5cf0 (31)
        Child SP               IP Call Site
0000001f8d27d330 00007ffd958535b8 System.Collections.Generic.HashSet`1[[System.__Canon, mscorlib]].Contains(System.__Canon)
0000001f8d27d3a0 00007ffd95372933 System.Web.HttpCookieCollection.EnsureKeyValidated(System.String, System.String)
0000001f8d27d3e0 00007ffd9483fa8d System.Web.HttpCookieCollection.Get(System.String)
0000001f8d27d420 00007ffd3e2ab6da xxx.CookieHelper.Read(System.String)
...

雖然信息比較少,但卦還是很明朗的,客戶寫了一個 CookieHelper 封裝了 Request.Cookies 操作,那到底怎麼封裝的呢?仔細閱讀代碼之後終於發現了,截圖如下:

我去,這代碼還是挺奇葩的,居然將 Cookies 給了靜態變數,靜態變數可是一個進程小緩存呢,水落石出之後改發也比較簡單,把 static 去掉即可。

三:總結

這種將Request.Cookies賦給靜態變數的奇葩操作其實蘊含著巨大的安全隱患,會導致多個用戶之間串cookie,但以伺服器自爆的方式來避免客戶端串cookie,真的是不幸中的萬幸,哈哈,同時用bug去抑制另一個bug的神操作也真的是大自然的鬼斧神工!
圖片名稱


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 封裝 高內聚,低耦合 高內聚:類內部操作自己完成,不允許外部干涉。 低耦合:僅暴露少量的方法給外部使用。 封裝(數據的隱藏)通常應禁止直接訪問一個對象中數據的實際表達,而應該通過操作介面來訪問,這稱為信息的隱藏。 封裝的特點 1.提高程式的安全性,保護數據 2.隱藏代碼的實現細節 3.統一介面 4. ...
  • ClickHouse是用於分析的OLAP資料庫,因此典型的使用場景是處理相對較少的請求 — 從每小時幾個到每秒幾十甚至幾百個不等 — 但會影響到大量數據(幾GB/數百萬行)。 但是在其他情況下,它的表現如何?讓我們嘗試用大量小請求來測試ClickHouse如何處理。這將幫助我們更好地瞭解可能的使用場 ...
  • 3月19日,Java22重磅發佈。Java22新增了12項增強功能,其中包括七個預覽特性和一個孵化器特性,這些功能都顯著到足以引起JDK增強提案(JEPs)的關註。它們涵蓋了Java語言、其API、性能以及JDK中包含的工具的改進。 ...
  • 在當今數字化時代,構建高效、可靠的分散式系統是許多企業和開發團隊面臨的挑戰。微軟的 Orleans 框架為解決這些挑戰提供了一個強大而簡單的解決方案。本文將介紹 Orleans 的核心概念,並通過一個簡單的示例代碼來演示其用法。 什麼是 Orleans? Orleans 是由微軟開發的一個開源分散式 ...
  • 嗯,構建模塊,一行代碼的事情,愣是讓我寫成了一篇教程,太難了。在這個入門教程的第三部分中,我們學習瞭如何使用.NET Emit 構建模塊(Module)。通過創建和定義模塊,我們可以更好地組織和管理我們的代碼。在這個過程中,我們瞭解瞭如何使用 AssemblyBuilder 和 ModuleBuil... ...
  • 在 PostgreSQL 中,bytea_output 參數控制在查詢結果中 bytea 類型的顯示格式。預設情況下,bytea_output 的值為 hex,這意味著在查詢結果中,bytea 類型的數據以十六進位格式顯示。但是,如果你的應用程式期望以二進位格式獲取圖像數據,則將 bytea_out... ...
  • 為了優化我們公司網站的性能,我最近引入了瀏覽器預載入技術(Preload)。 這項技術可以顯著減少級聯情況,提高資源載入的並行度,從而加速網站的載入速度。 Preload的原理 Preload的原理是在瀏覽器解析HTML文檔時,提前載入頁面所需的關鍵資源,如樣式表、腳本文件和字體等。 通過預載入這些 ...
  • 前言 文本主要講 MinimalApis 中的使用自定義IResultModel和系統自帶IResult做響應返回值。 MinimalApis支持以下類型的返回值: string - 這包括 Task<string> 和 ValueTask<string> T(任何其他類型)- 這包括 Task<T ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...