Netty源碼死磕一(netty線程模型及EventLoop機制)

来源:https://www.cnblogs.com/taromilk/archive/2020/05/19/12919029.html
-Advertisement-
Play Games

引言 好久沒有寫博客了,近期準備把 源碼啃一遍。在這之前本想直接看源碼,但是看到後面發現其實效率不高, 有些概念還是有必要回頭再細啃的,特別是其線程模型以及 的概念。 當然在開始之前還是有務必要對 要有清晰準確的認識。 傳送門 "" 事件迴圈機制(EventLoop) Netty線程模型中一個非常重 ...


引言

好久沒有寫博客了,近期準備把Netty源碼啃一遍。在這之前本想直接看源碼,但是看到後面發現其實效率不高,
有些概念還是有必要回頭再細啃的,特別是其線程模型以及EventLoop的概念。

當然在開始之前還是有務必要對IO模型要有清晰準確的認識。 傳送門

事件迴圈機制(EventLoop)

Netty線程模型中一個非常重要的概念: 事件迴圈機制(EventLoop)
這個概念在JS上體現的也非常淋漓盡致,下麵在開始介紹netty的線程模型之前,允許我簡單的介紹下事件迴圈機
制在JS中的體現

JS的語言性質: 單線程非阻塞,單線程意味著,js代碼在執行的任何時候,都只有一個主線程來處理所有的任務>。非阻塞則意味著,在進行非同步IO任務時不會阻塞主線程,主線程會掛起這個任務,等待非同步任務完成再執行對應>的回調。

那麼JS是如何實現單線程非阻塞的呢?JS引擎遇到一個非同步事件後並不會一直等待其返回結果,而是會將此事件>掛起(例如交給瀏覽器去執行請求),主線程會繼續執行方法棧中的其他任務。之後當非同步任務返回結果後,(可>能是瀏覽器?)會將回調函數加入到事件隊列(Task Queue)中,那麼什麼時候會從事件隊列中取出回調函數執行>呢?當前執行棧中的所有任務都執行完畢,主線程處於閑置狀態時會去查找事件隊列是否有任務待執行,如果有則>將回調函數加入到主線程的方法執行棧中執行,如此反覆,我們就把這個迴圈過程稱為事件迴圈機制(EventLoop)。

不知道介紹了JS的件迴圈機制,大家有沒有對Event Loop有了一個初步的認識,下麵我將會著重介紹我們主角Netty的線程模型及其與Event Loop的聯繫。

Netty線程模型

Netty的線程模型基於ReactorReactor的核心在於事件分發,它有三種經典的線程模型(單線程模型,多線程>模型,主從多線程模型),下麵我們會結合NettyEventLoop機制一一介紹

Reactor單線程模型

單線程模型全局只有一個線程在工作,也就意味著請求的接收,分發,IO讀取寫入等操作都在一個線程中完成,該>模型算得上是最經典的線程模型了,例如redis也是採用的此種單線程模型了。

可以看到上圖中,我們把一個Reactor線程可以認為是一個EventLoop IO線程,一個事件迴圈機制。

由於其線程中的IO讀寫都是基於NIO,理論上所有的IO讀寫操作都不會阻塞EventLoop線程。所以即使是該單線程>模型,也是足以應付絕大多數的場景。

那麼為什麼又會延伸出Reactor多線程模型呢?
當應用併發量非常大時,例如一個Reactor NIO 線程需要同時處理成百上千的連接時,雖然IO讀寫是非阻塞的,>但是消息的編碼解碼都是需要同步阻塞的,這就導致NIO線程處理速度變慢,最終導致消息積壓,出現性能瓶頸。

基於以上原因也就演進出了第二種模型Reactor多線程模型

Reactor多線程模型

Reactor多線程模型Reactor單線程模型最大的區別就是,有一組Reactor NIO線程(也就是一組 EventLoop)來處理IO操作

通過上圖,可以比較清晰的看到,IO的讀寫操作都由一個Reactor NIO線程池(對應到EventLoop也就是EventLoopGroup)來完成的,而請求的監聽和Accept則是由另一個單獨的Reactor線程來完成。
註意Reactor NIO線程池中的每一個線程都是處理N條鏈路,但是一個鏈路只能有一個線程來處理
多線程的Reactor模型可以滿足絕大部分的應用場景,通常情況下,我們使用Netty使用這種線程模型就OK(創建>兩個NioEventLoopGroup,bossGroup大小為1,workGroup大小為CPU*2)。但是有可能會存在某些極少數的情況,一
Reactor線程處理請求的Accept可能會產生性能瓶頸,例如上百萬的併發連接請求。這時候我們可能就需要採
用第三種模型Reactor主從多線程模型

Reactor主從多線程模型

Reactor主從多線程模型Reactor多線程模型的區別在於原本是一個Reactor線程處理請求的Accept,變成了
一組Reactor線程

對於Reactor主從多線程模型,其實大多數情況下我們並不需要。即使我們給BossGroup指定了多個線程,最終也>只會選擇其中的一個作為Accepor的NIO線程,除非在服務端綁定了多個埠的情況下才會啟用BossGroup的多個線

尾言

Netty的線程模型以及EventLoop理解清楚,個人覺得最好的方法還是順著Netty的源碼一步一步看,看多了
也就理解了這幾種線程模型分別對應了哪幾種情況,後面的文章我應該會根據源碼來進一步理解netty


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Java 1.1Java簡介 Java是一種跨平臺的,面向對象的程式設計語言。無論是電腦還是手機,到處都運行著JAVA開發的應用程式;JAVA程式可以在任何電腦、操作系統以及支持JAVA的硬體設備上運行。 什麼是JAVA語言? Java是前Sun公司(現甲骨文股份有限公司Oracle)於1995年 ...
  • C++語言中加入了面向對象的概念,雖然C語言的語法絕大部分都被保留在C++語言中,但C++的程式結構與C語言的程式結構存在很大差別。C++語言對C語言做了很多改進,C++語言相對於C語言的最根本的變化是引進了類和對象的概念。 ...
  • Go中也提供了反射機制,與Java一樣Go的反射也是在運行時獲取對象的相關信息,更新對象內部狀態;Golang通過反射可以獲取對象類型、欄位類型與值、調用struct實例方法、更新實例值等; Go關於反射相關的對象、函數都在reflect包中最主要的兩個為:Type與Value; Go提供了下麵兩個 ...
  • 案例故事: 測試過程中發現Bug視頻, 需要提供給開發用於解Bug的參考, 但是視頻拍攝後,太大且無法在微信客戶端傳輸的問題, 於是乎出現過測試人員通過winzip分批壓縮(part1, part2, part3), 再通過微信傳輸視頻壓縮包的"亂象": 作為測試總監,手底下的人這麼"壓縮視頻“我是 ...
  • 本文將從隊列本質、技術選型兩個方面,給大家整理下個人心得,希望能對大家有所幫助。 ...
  • 前言 本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯繫我們以作處理。 在本文總結了大廠常見的Python面試問題附帶參考答案,希望能夠幫助你在2020年求職面試中脫穎而出,找到一份高薪工作。 1、python中is和==的區別 ①Python中 ...
  • 對於要有扎實的java基礎,集合是必須掌握的,而且精讀這部分的源碼很有用,也很有必要。而LinkedList是在java.util包下,和java.io,java.lang都是比較常用,而且比較簡單。看看它們的源碼有助於鍛煉我們看源碼的感覺,也瞭解一下大神們寫代碼的風格。看這些源碼的目的,更多是為了 ...
  • 自己在寫文章的時候,也有到處去逛一逛,漸漸發現了一些有意思的事,經常會有人用同樣的評論到處刷,不知道是為了加沒什麼用的積分,還是純粹為了表達樓主好人。那麼問題來了,這種無聊的事情當然最好能夠自動化咯,自己也來試了一把,純屬娛樂。 大家在學python的時候肯定會遇到很多難題,以及對於新技術的追求,這 ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...