一個高頻問題:非同步操作會創建線程嗎?

来源:https://www.cnblogs.com/huangxincheng/archive/2022/04/01/16085461.html
-Advertisement-
Play Games

這個問題在微信上被別人問過好多次,想來想去覺得有必要統一解答下,先說下我的答案:可能會,也有可能不會。 要想尋找答案,需要從 非同步處理 的底層框架說起。 一:非同步底層是什麼 非同步 從設計層面上來說它就是一個 發佈訂閱者 模式,畢竟它的底層用到了 埠完成隊列,可以從 IO完成埠內核對象 所提供的三 ...


這個問題在微信上被別人問過好多次,想來想去覺得有必要統一解答下,先說下我的答案:可能會,也有可能不會

要想尋找答案,需要從 非同步處理 的底層框架說起。

一:非同步底層是什麼

非同步 從設計層面上來說它就是一個 發佈訂閱者 模式,畢竟它的底層用到了 埠完成隊列,可以從 IO完成埠內核對象 所提供的三個方法中有所體現。

  1. CreateIoCompletionPort

可以粗看下簽名:


HANDLE WINAPI CreateIoCompletionPort(
  _In_     HANDLE    FileHandle,
  _In_opt_ HANDLE    ExistingCompletionPort,
  _In_     ULONG_PTR CompletionKey,
  _In_     DWORD     NumberOfConcurrentThreads
);

這個方法主要是將 文件句柄IO完成埠內核對象 進行綁定,其中的 NumberOfConcurrentThreads 表示完成埠最多允許 running 的線程上限。

  1. PostQueuedCompletionStatus

再看簽名:


BOOL WINAPI PostQueuedCompletionStatus(
  _In_     HANDLE       CompletionPort,
  _In_     DWORD        dwNumberOfBytesTransferred,
  _In_     ULONG_PTR    dwCompletionKey,
  _In_opt_ LPOVERLAPPED lpOverlapped
);

這個函數的作用就是將一個 通過 內核對象 丟給 驅動設備程式 ,由後者與硬體交互,比如文件

  1. GetQueuedCompletionStatus

看簽名:


BOOL GetQueuedCompletionStatus(
  [in]  HANDLE       CompletionPort,
        LPDWORD      lpNumberOfBytesTransferred,
  [out] PULONG_PTR   lpCompletionKey,
  [out] LPOVERLAPPED *lpOverlapped,
  [in]  DWORD        dwMilliseconds
);

這個方法嘗試從 IO完成埠內核對象 中提取 IO 包,如果沒有提取到,那麼就會無限期等待,直到提取為止。

對上面三個方法有了概念之後,接下來看下結構圖:

這張圖非常言簡意賅,不過只畫了 埠完成隊列, 其實還有三個與IO線程有關的隊列,分別為:等待線程隊列已釋放隊列, 已暫停隊列,接下來我們稍微解讀一下。

線程t1 調用 GetQueuedCompletionStatus 時,假使此刻 任務隊列q1 無任務, 那麼 t1 會卡住並自動進去 等待線程隊列 ,當某個時刻 q1 進了任務(由驅動程式投遞的),此時操作系統會將 t1 激活來提取 q1 的任務執行,同時將 t1 送到已釋放隊列中。

這個時候就有兩條路了。

  1. 遇到 Sleep 或者 lock 情況。

如果 t1 在執行的時候,遇到了 Sleep 或者 lock 鎖時需要被迫停止,此時系統會將 t1 線程送到 已暫停線程隊列 中,如果都 sleep 了,那 NumberOfConcurrentThreads 就會變為 0 ,此時就會遇到無人可用的情況,那怎麼辦呢?只能讓系統從 線程池 中申請更多的線程來從 q1 隊列中提取任務,當某個時刻, 已暫停線程隊列 中的線程激活,那麼它又回到了 已釋放隊列 中繼續執行任務,當任務執行完之後,再次調用 GetQueuedCompletionStatus 方法進去 等待線程隊列

當然這裡有一個問題,某一個時刻 等待線程隊列 中的線程數會暫時性的超過 NumberOfConcurrentThreads 值,不過問題也不大。

說了這麼多理論是不是有點懵, 沒關係,接下來我結合 windbg 和 coreclr 源碼一起看下。

以我的機器來說,IO完成埠內核對象 預設最多允許 12 個 running 線程,當遇到 sleep 時看看會不會突破 12 的限制,上代碼:


    class Program
    {
        static void Main(string[] args)
        {
            for (int i = 0; i < 2000; i++)
            {
                Task.Run(async () =>
                {
                    await GetString();
                });
            }

            Console.ReadLine();
        }

        public static int counter = 0;

        static async Task<string> GetString()
        {
            var httpClient = new HttpClient();

            var str = await httpClient.GetStringAsync("http://cnblogs.com");

            Console.WriteLine($"counter={++counter}, 線程:{Thread.CurrentThread.ManagedThreadId},str.length={str.Length}");

            Thread.Sleep(1000000);

            return str;
        }
    }

從圖中看,已經破掉了 12 的限制,那是不是 30 呢? 可以用 windbg 幫忙確認一下。


0:059> !tp
CPU utilization: 3%
Worker Thread: Total: 13 Running: 0 Idle: 13 MaxLimit: 2047 MinLimit: 12
Work Request in Queue: 0
--------------------------------------
Number of Timers: 1
--------------------------------------
Completion Port Thread:Total: 30 Free: 0 MaxFree: 24 CurrentLimit: 30 MaxLimit: 1000 MinLimit: 12


從最後一行看,沒毛病, IO完成埠線程 確實是 30 個。

在這種情況,非同步操作一定會創建線程來處理

  1. 遇到耗時操作

所謂的耗時操作,大體上是大量的序列化,複雜計算等等,這裡我就用 while(true) 模擬,因為所有線程都沒有遇到暫停事件,所以理論上不會突破 12 的限制,接下來稍微修改一下 GetString() 方法。


        static async Task<string> GetString()
        {
            var httpClient = new HttpClient();

            var str = await httpClient.GetStringAsync("http://cnblogs.com");

            Console.WriteLine($"counter={++counter},時間:{DateTime.Now}, 線程:{Thread.CurrentThread.ManagedThreadId},str.length={str.Length}");

            while (true) { }

            return str;
        }

對比圖中的時間,過了30s也無法突破 12 的限制,畢竟這些線程都是 running 狀態並都在 已釋放隊列中,這也就造成了所謂的 請求無響應 的尷尬情況。

二:直面問題

如果明白了上面我所說的,那麼 非同步操作會不會創建線程 ? 問題,我的答案是 有可能會也有可能不會,具體還是取決於上面提到了兩種 callback 邏輯。

圖片名稱
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 只要業務邏輯代碼寫正確,處理好業務狀態在多線程的併發問題,很少會有調優方面的需求。最多就是在性能監控平臺發現某些介面的調用耗時偏高,然後再發現某一SQL或第三方介面執行超時之類的。如果你是負責中間件或IM通訊相關項目開發,或許就需要偏向CPU、磁碟、網路及記憶體方面的問題排查及調優技能 CPU過高,怎 ...
  • 我正在尋找如何在ASP.NET MVC 5應用程式的Create Razor視圖中為Invoice類添加新行的LineItem.我已經閱讀了幾乎所有類似的問題,但沒有人解決了我認為是一個簡單的用例. 這是我的發票模型類 public class Invoice { public int Id { g ...
  • 背景 一切皆有因果,所有事情,都有事件驅動。本方案的日誌級別切換是由這樣的背景下產生的: 單個生產環境上,有幾百近千個微服務 日誌級別切換不重啟服務,要求即時生效果 由業務開發人員去修改代碼或增加相關依賴配置等涉及面廣,推動進度慢 後期動態實時過濾垃圾日誌,減少io和磁碟空間成本 logback簡介 ...
  • 前言我們在日常工作中,除了會涉及到使用Python處理文本文件,有時候還會涉及對壓縮文件的處理。 通常會涉及到的壓縮文件格式有: •rar:Windows 環境下用的比較多的壓縮,比較著名的GUI工具是winrar •tar: Linux系統下的打包工具,只打包,不壓縮 •gz:即gzip,通常只能 ...
  • 前言 SpringBoot核心配置在springboot中有非常重要的作用,我們可是使用核心配置文件進行一些基礎功能的定義,屬性值的註入等。springboot支持兩種格式的核心配置文件,一種是properties和yaml,properties採用傳統的鍵值對方式,但是相比於yaml優先順序更高,y ...
  • 本文中主要討論 .NET6.0項目在 k8s 中運行的 Dapr 的持續集成流程 ...
  • Masa技術團隊在2021年創立,這一年我們團隊發佈了我們第一個產品,Masa Blazor。登上了.NET Conf China,我們承諾,開源我們的產品,為開源社區增磚加瓦,一路上收穫技術社區文章類的各種獎項... 2022年,我們在路上... 開年之初,為了鼓勵更多的開發同學參與到項目落地的實 ...
  • 本文將從上往下,循序漸進的介紹一系列相關.NET的概念,先從類型系統開始講起,我將通過跨語言操作這個例子來逐漸引入一系列.NET的相關概念,這主要包括:CLS、CTS(CLI)、FCL、Windows下CLR的相關核心組成、Windows下托管程式運行概念、什麼是.NET Framework,.NE... ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...