Netty源碼死磕一(netty線程模型及EventLoop機制)

来源:https://www.cnblogs.com/taromilk/archive/2020/05/19/12919029.html
-Advertisement-
Play Games

引言 好久沒有寫博客了,近期準備把 源碼啃一遍。在這之前本想直接看源碼,但是看到後面發現其實效率不高, 有些概念還是有必要回頭再細啃的,特別是其線程模型以及 的概念。 當然在開始之前還是有務必要對 要有清晰準確的認識。 傳送門 "" 事件迴圈機制(EventLoop) Netty線程模型中一個非常重 ...


引言

好久沒有寫博客了,近期準備把Netty源碼啃一遍。在這之前本想直接看源碼,但是看到後面發現其實效率不高,
有些概念還是有必要回頭再細啃的,特別是其線程模型以及EventLoop的概念。

當然在開始之前還是有務必要對IO模型要有清晰準確的認識。 傳送門

事件迴圈機制(EventLoop)

Netty線程模型中一個非常重要的概念: 事件迴圈機制(EventLoop)
這個概念在JS上體現的也非常淋漓盡致,下麵在開始介紹netty的線程模型之前,允許我簡單的介紹下事件迴圈機
制在JS中的體現

JS的語言性質: 單線程非阻塞,單線程意味著,js代碼在執行的任何時候,都只有一個主線程來處理所有的任務>。非阻塞則意味著,在進行非同步IO任務時不會阻塞主線程,主線程會掛起這個任務,等待非同步任務完成再執行對應>的回調。

那麼JS是如何實現單線程非阻塞的呢?JS引擎遇到一個非同步事件後並不會一直等待其返回結果,而是會將此事件>掛起(例如交給瀏覽器去執行請求),主線程會繼續執行方法棧中的其他任務。之後當非同步任務返回結果後,(可>能是瀏覽器?)會將回調函數加入到事件隊列(Task Queue)中,那麼什麼時候會從事件隊列中取出回調函數執行>呢?當前執行棧中的所有任務都執行完畢,主線程處於閑置狀態時會去查找事件隊列是否有任務待執行,如果有則>將回調函數加入到主線程的方法執行棧中執行,如此反覆,我們就把這個迴圈過程稱為事件迴圈機制(EventLoop)。

不知道介紹了JS的件迴圈機制,大家有沒有對Event Loop有了一個初步的認識,下麵我將會著重介紹我們主角Netty的線程模型及其與Event Loop的聯繫。

Netty線程模型

Netty的線程模型基於ReactorReactor的核心在於事件分發,它有三種經典的線程模型(單線程模型,多線程>模型,主從多線程模型),下麵我們會結合NettyEventLoop機制一一介紹

Reactor單線程模型

單線程模型全局只有一個線程在工作,也就意味著請求的接收,分發,IO讀取寫入等操作都在一個線程中完成,該>模型算得上是最經典的線程模型了,例如redis也是採用的此種單線程模型了。

可以看到上圖中,我們把一個Reactor線程可以認為是一個EventLoop IO線程,一個事件迴圈機制。

由於其線程中的IO讀寫都是基於NIO,理論上所有的IO讀寫操作都不會阻塞EventLoop線程。所以即使是該單線程>模型,也是足以應付絕大多數的場景。

那麼為什麼又會延伸出Reactor多線程模型呢?
當應用併發量非常大時,例如一個Reactor NIO 線程需要同時處理成百上千的連接時,雖然IO讀寫是非阻塞的,>但是消息的編碼解碼都是需要同步阻塞的,這就導致NIO線程處理速度變慢,最終導致消息積壓,出現性能瓶頸。

基於以上原因也就演進出了第二種模型Reactor多線程模型

Reactor多線程模型

Reactor多線程模型Reactor單線程模型最大的區別就是,有一組Reactor NIO線程(也就是一組 EventLoop)來處理IO操作

通過上圖,可以比較清晰的看到,IO的讀寫操作都由一個Reactor NIO線程池(對應到EventLoop也就是EventLoopGroup)來完成的,而請求的監聽和Accept則是由另一個單獨的Reactor線程來完成。
註意Reactor NIO線程池中的每一個線程都是處理N條鏈路,但是一個鏈路只能有一個線程來處理
多線程的Reactor模型可以滿足絕大部分的應用場景,通常情況下,我們使用Netty使用這種線程模型就OK(創建>兩個NioEventLoopGroup,bossGroup大小為1,workGroup大小為CPU*2)。但是有可能會存在某些極少數的情況,一
Reactor線程處理請求的Accept可能會產生性能瓶頸,例如上百萬的併發連接請求。這時候我們可能就需要採
用第三種模型Reactor主從多線程模型

Reactor主從多線程模型

Reactor主從多線程模型Reactor多線程模型的區別在於原本是一個Reactor線程處理請求的Accept,變成了
一組Reactor線程

對於Reactor主從多線程模型,其實大多數情況下我們並不需要。即使我們給BossGroup指定了多個線程,最終也>只會選擇其中的一個作為Accepor的NIO線程,除非在服務端綁定了多個埠的情況下才會啟用BossGroup的多個線

尾言

Netty的線程模型以及EventLoop理解清楚,個人覺得最好的方法還是順著Netty的源碼一步一步看,看多了
也就理解了這幾種線程模型分別對應了哪幾種情況,後面的文章我應該會根據源碼來進一步理解netty


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Java 1.1Java簡介 Java是一種跨平臺的,面向對象的程式設計語言。無論是電腦還是手機,到處都運行著JAVA開發的應用程式;JAVA程式可以在任何電腦、操作系統以及支持JAVA的硬體設備上運行。 什麼是JAVA語言? Java是前Sun公司(現甲骨文股份有限公司Oracle)於1995年 ...
  • C++語言中加入了面向對象的概念,雖然C語言的語法絕大部分都被保留在C++語言中,但C++的程式結構與C語言的程式結構存在很大差別。C++語言對C語言做了很多改進,C++語言相對於C語言的最根本的變化是引進了類和對象的概念。 ...
  • Go中也提供了反射機制,與Java一樣Go的反射也是在運行時獲取對象的相關信息,更新對象內部狀態;Golang通過反射可以獲取對象類型、欄位類型與值、調用struct實例方法、更新實例值等; Go關於反射相關的對象、函數都在reflect包中最主要的兩個為:Type與Value; Go提供了下麵兩個 ...
  • 案例故事: 測試過程中發現Bug視頻, 需要提供給開發用於解Bug的參考, 但是視頻拍攝後,太大且無法在微信客戶端傳輸的問題, 於是乎出現過測試人員通過winzip分批壓縮(part1, part2, part3), 再通過微信傳輸視頻壓縮包的"亂象": 作為測試總監,手底下的人這麼"壓縮視頻“我是 ...
  • 本文將從隊列本質、技術選型兩個方面,給大家整理下個人心得,希望能對大家有所幫助。 ...
  • 前言 本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯繫我們以作處理。 在本文總結了大廠常見的Python面試問題附帶參考答案,希望能夠幫助你在2020年求職面試中脫穎而出,找到一份高薪工作。 1、python中is和==的區別 ①Python中 ...
  • 對於要有扎實的java基礎,集合是必須掌握的,而且精讀這部分的源碼很有用,也很有必要。而LinkedList是在java.util包下,和java.io,java.lang都是比較常用,而且比較簡單。看看它們的源碼有助於鍛煉我們看源碼的感覺,也瞭解一下大神們寫代碼的風格。看這些源碼的目的,更多是為了 ...
  • 自己在寫文章的時候,也有到處去逛一逛,漸漸發現了一些有意思的事,經常會有人用同樣的評論到處刷,不知道是為了加沒什麼用的積分,還是純粹為了表達樓主好人。那麼問題來了,這種無聊的事情當然最好能夠自動化咯,自己也來試了一把,純屬娛樂。 大家在學python的時候肯定會遇到很多難題,以及對於新技術的追求,這 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...