一個高頻問題:非同步操作會創建線程嗎?

来源:https://www.cnblogs.com/huangxincheng/archive/2022/04/01/16085461.html
-Advertisement-
Play Games

這個問題在微信上被別人問過好多次,想來想去覺得有必要統一解答下,先說下我的答案:可能會,也有可能不會。 要想尋找答案,需要從 非同步處理 的底層框架說起。 一:非同步底層是什麼 非同步 從設計層面上來說它就是一個 發佈訂閱者 模式,畢竟它的底層用到了 埠完成隊列,可以從 IO完成埠內核對象 所提供的三 ...


這個問題在微信上被別人問過好多次,想來想去覺得有必要統一解答下,先說下我的答案:可能會,也有可能不會

要想尋找答案,需要從 非同步處理 的底層框架說起。

一:非同步底層是什麼

非同步 從設計層面上來說它就是一個 發佈訂閱者 模式,畢竟它的底層用到了 埠完成隊列,可以從 IO完成埠內核對象 所提供的三個方法中有所體現。

  1. CreateIoCompletionPort

可以粗看下簽名:


HANDLE WINAPI CreateIoCompletionPort(
  _In_     HANDLE    FileHandle,
  _In_opt_ HANDLE    ExistingCompletionPort,
  _In_     ULONG_PTR CompletionKey,
  _In_     DWORD     NumberOfConcurrentThreads
);

這個方法主要是將 文件句柄IO完成埠內核對象 進行綁定,其中的 NumberOfConcurrentThreads 表示完成埠最多允許 running 的線程上限。

  1. PostQueuedCompletionStatus

再看簽名:


BOOL WINAPI PostQueuedCompletionStatus(
  _In_     HANDLE       CompletionPort,
  _In_     DWORD        dwNumberOfBytesTransferred,
  _In_     ULONG_PTR    dwCompletionKey,
  _In_opt_ LPOVERLAPPED lpOverlapped
);

這個函數的作用就是將一個 通過 內核對象 丟給 驅動設備程式 ,由後者與硬體交互,比如文件

  1. GetQueuedCompletionStatus

看簽名:


BOOL GetQueuedCompletionStatus(
  [in]  HANDLE       CompletionPort,
        LPDWORD      lpNumberOfBytesTransferred,
  [out] PULONG_PTR   lpCompletionKey,
  [out] LPOVERLAPPED *lpOverlapped,
  [in]  DWORD        dwMilliseconds
);

這個方法嘗試從 IO完成埠內核對象 中提取 IO 包,如果沒有提取到,那麼就會無限期等待,直到提取為止。

對上面三個方法有了概念之後,接下來看下結構圖:

這張圖非常言簡意賅,不過只畫了 埠完成隊列, 其實還有三個與IO線程有關的隊列,分別為:等待線程隊列已釋放隊列, 已暫停隊列,接下來我們稍微解讀一下。

線程t1 調用 GetQueuedCompletionStatus 時,假使此刻 任務隊列q1 無任務, 那麼 t1 會卡住並自動進去 等待線程隊列 ,當某個時刻 q1 進了任務(由驅動程式投遞的),此時操作系統會將 t1 激活來提取 q1 的任務執行,同時將 t1 送到已釋放隊列中。

這個時候就有兩條路了。

  1. 遇到 Sleep 或者 lock 情況。

如果 t1 在執行的時候,遇到了 Sleep 或者 lock 鎖時需要被迫停止,此時系統會將 t1 線程送到 已暫停線程隊列 中,如果都 sleep 了,那 NumberOfConcurrentThreads 就會變為 0 ,此時就會遇到無人可用的情況,那怎麼辦呢?只能讓系統從 線程池 中申請更多的線程來從 q1 隊列中提取任務,當某個時刻, 已暫停線程隊列 中的線程激活,那麼它又回到了 已釋放隊列 中繼續執行任務,當任務執行完之後,再次調用 GetQueuedCompletionStatus 方法進去 等待線程隊列

當然這裡有一個問題,某一個時刻 等待線程隊列 中的線程數會暫時性的超過 NumberOfConcurrentThreads 值,不過問題也不大。

說了這麼多理論是不是有點懵, 沒關係,接下來我結合 windbg 和 coreclr 源碼一起看下。

以我的機器來說,IO完成埠內核對象 預設最多允許 12 個 running 線程,當遇到 sleep 時看看會不會突破 12 的限制,上代碼:


    class Program
    {
        static void Main(string[] args)
        {
            for (int i = 0; i < 2000; i++)
            {
                Task.Run(async () =>
                {
                    await GetString();
                });
            }

            Console.ReadLine();
        }

        public static int counter = 0;

        static async Task<string> GetString()
        {
            var httpClient = new HttpClient();

            var str = await httpClient.GetStringAsync("http://cnblogs.com");

            Console.WriteLine($"counter={++counter}, 線程:{Thread.CurrentThread.ManagedThreadId},str.length={str.Length}");

            Thread.Sleep(1000000);

            return str;
        }
    }

從圖中看,已經破掉了 12 的限制,那是不是 30 呢? 可以用 windbg 幫忙確認一下。


0:059> !tp
CPU utilization: 3%
Worker Thread: Total: 13 Running: 0 Idle: 13 MaxLimit: 2047 MinLimit: 12
Work Request in Queue: 0
--------------------------------------
Number of Timers: 1
--------------------------------------
Completion Port Thread:Total: 30 Free: 0 MaxFree: 24 CurrentLimit: 30 MaxLimit: 1000 MinLimit: 12


從最後一行看,沒毛病, IO完成埠線程 確實是 30 個。

在這種情況,非同步操作一定會創建線程來處理

  1. 遇到耗時操作

所謂的耗時操作,大體上是大量的序列化,複雜計算等等,這裡我就用 while(true) 模擬,因為所有線程都沒有遇到暫停事件,所以理論上不會突破 12 的限制,接下來稍微修改一下 GetString() 方法。


        static async Task<string> GetString()
        {
            var httpClient = new HttpClient();

            var str = await httpClient.GetStringAsync("http://cnblogs.com");

            Console.WriteLine($"counter={++counter},時間:{DateTime.Now}, 線程:{Thread.CurrentThread.ManagedThreadId},str.length={str.Length}");

            while (true) { }

            return str;
        }

對比圖中的時間,過了30s也無法突破 12 的限制,畢竟這些線程都是 running 狀態並都在 已釋放隊列中,這也就造成了所謂的 請求無響應 的尷尬情況。

二:直面問題

如果明白了上面我所說的,那麼 非同步操作會不會創建線程 ? 問題,我的答案是 有可能會也有可能不會,具體還是取決於上面提到了兩種 callback 邏輯。

圖片名稱
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 只要業務邏輯代碼寫正確,處理好業務狀態在多線程的併發問題,很少會有調優方面的需求。最多就是在性能監控平臺發現某些介面的調用耗時偏高,然後再發現某一SQL或第三方介面執行超時之類的。如果你是負責中間件或IM通訊相關項目開發,或許就需要偏向CPU、磁碟、網路及記憶體方面的問題排查及調優技能 CPU過高,怎 ...
  • 我正在尋找如何在ASP.NET MVC 5應用程式的Create Razor視圖中為Invoice類添加新行的LineItem.我已經閱讀了幾乎所有類似的問題,但沒有人解決了我認為是一個簡單的用例. 這是我的發票模型類 public class Invoice { public int Id { g ...
  • 背景 一切皆有因果,所有事情,都有事件驅動。本方案的日誌級別切換是由這樣的背景下產生的: 單個生產環境上,有幾百近千個微服務 日誌級別切換不重啟服務,要求即時生效果 由業務開發人員去修改代碼或增加相關依賴配置等涉及面廣,推動進度慢 後期動態實時過濾垃圾日誌,減少io和磁碟空間成本 logback簡介 ...
  • 前言我們在日常工作中,除了會涉及到使用Python處理文本文件,有時候還會涉及對壓縮文件的處理。 通常會涉及到的壓縮文件格式有: •rar:Windows 環境下用的比較多的壓縮,比較著名的GUI工具是winrar •tar: Linux系統下的打包工具,只打包,不壓縮 •gz:即gzip,通常只能 ...
  • 前言 SpringBoot核心配置在springboot中有非常重要的作用,我們可是使用核心配置文件進行一些基礎功能的定義,屬性值的註入等。springboot支持兩種格式的核心配置文件,一種是properties和yaml,properties採用傳統的鍵值對方式,但是相比於yaml優先順序更高,y ...
  • 本文中主要討論 .NET6.0項目在 k8s 中運行的 Dapr 的持續集成流程 ...
  • Masa技術團隊在2021年創立,這一年我們團隊發佈了我們第一個產品,Masa Blazor。登上了.NET Conf China,我們承諾,開源我們的產品,為開源社區增磚加瓦,一路上收穫技術社區文章類的各種獎項... 2022年,我們在路上... 開年之初,為了鼓勵更多的開發同學參與到項目落地的實 ...
  • 本文將從上往下,循序漸進的介紹一系列相關.NET的概念,先從類型系統開始講起,我將通過跨語言操作這個例子來逐漸引入一系列.NET的相關概念,這主要包括:CLS、CTS(CLI)、FCL、Windows下CLR的相關核心組成、Windows下托管程式運行概念、什麼是.NET Framework,.NE... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...