高併發IO底層理解

来源:https://www.cnblogs.com/wangrq/archive/2020/07/26/IO-opration.html
-Advertisement-
Play Games

IO讀寫基礎 應用層在進行read,write系統調用時,不是物理級別的讀寫,而是緩存的複製,進程緩衝區同內核緩衝區的緩存複製,底層數據交換是有由操作系統內核完成,控制內核緩衝與硬體(物理設備)之間數據交換.linux系統在系統內核只有一個內核緩衝區,用戶進程都有獨立的緩衝區,是進程緩衝區。外部設備 ...


IO讀寫基礎

應用層在進行read,write系統調用時,不是物理級別的讀寫,而是緩存的複製,進程緩衝區同內核緩衝區的緩存複製,底層數據交換是有由操作系統內核完成,控制內核緩衝與硬體(物理設備)之間數據交換.linux系統在系統內核只有一個內核緩衝區,用戶進程都有獨立的緩衝區,是進程緩衝區。外部設備的直接讀寫涉及操作系統的中斷,底層操作會對內核緩衝區進行監控,等待緩衝區達到一定數量的時候,再進行IO設備的中斷處理,集中執行物理設備的實際IO操作,這種機制提升了系統的性能,至於什麼時候中斷(讀中斷、寫中斷),由操作系統的內核來決定,用戶程式則不需要關心.

 

 

四種主要的IO模型

1、同步阻塞IO:      在內核進行IO執行的兩個階段,用戶線程都被阻塞,在阻塞期間,用戶線程基本不會占用CPU資源,但在高併發場景下不可採用.

 

 2、同步非阻塞IO: 不斷的進行IO系統調用,輪詢數據狀態,用戶線程不會阻塞,會占用大量的CPU時間,在高併發場景下,也不採可.簡稱NIO.

 

3、 IO多路復用:

系統調用,一種是select/epoll(就緒查詢),一種是IO操作,輪詢查找出達到IO操作就緒的socket連,一個選擇器查詢線程可處理成千上萬個連接,不必創建維護大量線程,減小系統開銷,缺點>select/epoll系統調用是阻塞式的,屬於同步IO.都需要在讀寫事件就緒後,由系統調用本身負責進行讀寫,也就是說這個讀寫過程是阻塞的。

 

 

4、非同步IO:AIO

在內核等待數據和複製數據的兩個階段,用戶線程都不是阻塞的。用戶線程需要接收內核的IO操作完成的事件,或者用戶線程需要註冊一個IO操作完成的回調函數。非同步IO有時也被稱為信號驅動IO.缺點>應用程式僅需要進行事件的註冊與接收,其餘的工作都留給了操作系統,即需要底層內核提供支持。目前Windows系統下通過IOCP實現了真正的非同步IO,在linux系統中還不太完善。

 

 

高併發連接數配置

在生產環境Linux系統中,基本上都需要解除文件句柄數的限制。文件句柄,也叫文件描述符。文件描述符(File Descriptor)是內核為了高效管理已被打開的文件所創建的索引,它是一個非負整數(通常是小整數),用於指代被打開的文件。所有的IO系統調用,包括socket的讀寫調用,都是通過文件描述符完成的。

用ulimit命令,查看單個進程能夠打開的最大文件句柄數量

ulimit -n

一個高併發的應用,併發連接數可以達到數十萬百萬千萬級別,文件句柄數不夠,當單個進程打開的文件句柄數量,超過了系統配置的上限值時,會發出“Socket/File:Can't open so many files”的錯誤提示。

可以通過ulimit來設置這兩個參數, 註意ulimit只能作為臨時修改,系統重啟後,句柄數量又會恢復為預設值

ulimit -n 1000000

永久修改配置,可以編輯 /etc/rc.local 開機啟動文件,在文件中添加如下內容,選項-S表示軟性極限值,-H表示硬性極限值

ulimit -SHn 1000000

終極解除Linux系統的最大文件打開數量的限制,編輯Linux的極限配置文件/etc/security/limits.conf來解決,加入如下內容

#軟性極限
soft nofile 1000000
#硬性極限
hard nofile 1000000

軟性極限是系統警告(Warning)的極限值,超過這個極限值,內核會發出警告。

 

小結:

學習理解了低層IO操作的2個階段:等待數據和複製數據。加深了對四種主要IO模型的理解掌握,前3種都是同步IO,因為實際IO操作都會阻塞應用的線程。僅第四種是真正的非同步IO,但是依賴於系統內核的支持。這些內容為學習Netty這個優秀框架打下良好的理論基礎。

 

書籍閱讀:《Netty、redis、zookeeper高併發實戰 》  尼恩

額外理解參考: 

    http://byteliu.com/2017/05/17/%E8%AE%A1%E7%AE%97%E6%9C%BAIO/

    https://juejin.im/post/5cd50e07f265da03ab2343d3


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前端程式員怎麼才能學好演算法呢?目前演算法優秀的視頻集中在c++,java,python,本人通過幾個月專心看c++的視頻掌握了演算法的基本思路,都翻譯成前端代碼一一寫出來,從真題到思維全面提升演算法思維面對演算法面試,不畏懼 二分查找法O(logn)尋找數組中的最大/最小值O(N)歸併排序演算法 O(nlog ...
  • (一)兩種打包表單區別 |屬性 |特點 |應用 | | | | | |get |加到url,直接可見 |書簽,歷史瀏覽 | |post |間接可見,請求發送量多 |私密,訂購,評論,反饋 | (二)三種溯源區別 |屬性 |特點 |應用 | | | | | |url(uniform resource ...
  • 自媒體的發展越來越快,今日頭條旗下的西瓜視頻,火山和抖音在網路上的地位也在發生微妙的變化。包括快手和抖音,微視小視頻平臺的競爭和衝擊也是不容小覷。但是很多用戶還是執著於今日頭條搬運,不離不棄。今天老生常談,跟大家說說,如何利用批量去水印下載西瓜視頻的短視頻。工具不僅僅是支持西瓜的,快手的、抖音的、微 ...
  • 數據類型的分類和判斷 基本(值)類型 Number 任意數值 typeof String 任意字元串 typeof Boolean true/false typeof undefined undefined typeof/ null null 對象(引用)類型 Object typeof/insta ...
  • 《應用框架的設計與實現 .NET 平臺》 [作者] (美) Xin Chen[譯者] (中) 溫昱 靳向陽[出版] 電子工業出版社[版次] 2005年07月 第1版[印次] 2005年07月 第1次 印刷[定價] 39.80元 【第01章】 【應用框架介紹】 (P004) 使用應用框架有五大優點 : ...
  • 前言 本篇文章收錄於專輯:http://dwz.win/HjK,點擊解鎖更多數據結構與演算法的知識。 你好,我是彤哥,一個每天爬二十六層樓還不忘讀源碼的硬核男人。 上一節,我們一起學習了複雜度分析的套路和常見的複雜度。 但是,我們的案例基本都是以時間複雜度為主,很少接觸到空間複雜度。 那麼,到底什麼才 ...
  • 很多人搞不明白 REST(Representational State Transfer 表述性狀態轉移)原因在於一開始就是把它當做設計風格而不是架構風格來理解,因而一上來就大談特談什麼 RESTful API,結果是只見樹木不見森林。 僅從設計的角度去理解 REST(僅把它作為 API 設計原則) ...
  • 一、PreparedStatement介面 1.java.sql.PraparedStatement介面繼承並擴展了Statement介面,用於執行動態的SQL語句,即包含參數的SQL語句。 PraparedStatement ps = connection.preparedStatement("s ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...