高併發IO底層理解

来源:https://www.cnblogs.com/wangrq/archive/2020/07/26/IO-opration.html
-Advertisement-
Play Games

IO讀寫基礎 應用層在進行read,write系統調用時,不是物理級別的讀寫,而是緩存的複製,進程緩衝區同內核緩衝區的緩存複製,底層數據交換是有由操作系統內核完成,控制內核緩衝與硬體(物理設備)之間數據交換.linux系統在系統內核只有一個內核緩衝區,用戶進程都有獨立的緩衝區,是進程緩衝區。外部設備 ...


IO讀寫基礎

應用層在進行read,write系統調用時,不是物理級別的讀寫,而是緩存的複製,進程緩衝區同內核緩衝區的緩存複製,底層數據交換是有由操作系統內核完成,控制內核緩衝與硬體(物理設備)之間數據交換.linux系統在系統內核只有一個內核緩衝區,用戶進程都有獨立的緩衝區,是進程緩衝區。外部設備的直接讀寫涉及操作系統的中斷,底層操作會對內核緩衝區進行監控,等待緩衝區達到一定數量的時候,再進行IO設備的中斷處理,集中執行物理設備的實際IO操作,這種機制提升了系統的性能,至於什麼時候中斷(讀中斷、寫中斷),由操作系統的內核來決定,用戶程式則不需要關心.

 

 

四種主要的IO模型

1、同步阻塞IO:      在內核進行IO執行的兩個階段,用戶線程都被阻塞,在阻塞期間,用戶線程基本不會占用CPU資源,但在高併發場景下不可採用.

 

 2、同步非阻塞IO: 不斷的進行IO系統調用,輪詢數據狀態,用戶線程不會阻塞,會占用大量的CPU時間,在高併發場景下,也不採可.簡稱NIO.

 

3、 IO多路復用:

系統調用,一種是select/epoll(就緒查詢),一種是IO操作,輪詢查找出達到IO操作就緒的socket連,一個選擇器查詢線程可處理成千上萬個連接,不必創建維護大量線程,減小系統開銷,缺點>select/epoll系統調用是阻塞式的,屬於同步IO.都需要在讀寫事件就緒後,由系統調用本身負責進行讀寫,也就是說這個讀寫過程是阻塞的。

 

 

4、非同步IO:AIO

在內核等待數據和複製數據的兩個階段,用戶線程都不是阻塞的。用戶線程需要接收內核的IO操作完成的事件,或者用戶線程需要註冊一個IO操作完成的回調函數。非同步IO有時也被稱為信號驅動IO.缺點>應用程式僅需要進行事件的註冊與接收,其餘的工作都留給了操作系統,即需要底層內核提供支持。目前Windows系統下通過IOCP實現了真正的非同步IO,在linux系統中還不太完善。

 

 

高併發連接數配置

在生產環境Linux系統中,基本上都需要解除文件句柄數的限制。文件句柄,也叫文件描述符。文件描述符(File Descriptor)是內核為了高效管理已被打開的文件所創建的索引,它是一個非負整數(通常是小整數),用於指代被打開的文件。所有的IO系統調用,包括socket的讀寫調用,都是通過文件描述符完成的。

用ulimit命令,查看單個進程能夠打開的最大文件句柄數量

ulimit -n

一個高併發的應用,併發連接數可以達到數十萬百萬千萬級別,文件句柄數不夠,當單個進程打開的文件句柄數量,超過了系統配置的上限值時,會發出“Socket/File:Can't open so many files”的錯誤提示。

可以通過ulimit來設置這兩個參數, 註意ulimit只能作為臨時修改,系統重啟後,句柄數量又會恢復為預設值

ulimit -n 1000000

永久修改配置,可以編輯 /etc/rc.local 開機啟動文件,在文件中添加如下內容,選項-S表示軟性極限值,-H表示硬性極限值

ulimit -SHn 1000000

終極解除Linux系統的最大文件打開數量的限制,編輯Linux的極限配置文件/etc/security/limits.conf來解決,加入如下內容

#軟性極限
soft nofile 1000000
#硬性極限
hard nofile 1000000

軟性極限是系統警告(Warning)的極限值,超過這個極限值,內核會發出警告。

 

小結:

學習理解了低層IO操作的2個階段:等待數據和複製數據。加深了對四種主要IO模型的理解掌握,前3種都是同步IO,因為實際IO操作都會阻塞應用的線程。僅第四種是真正的非同步IO,但是依賴於系統內核的支持。這些內容為學習Netty這個優秀框架打下良好的理論基礎。

 

書籍閱讀:《Netty、redis、zookeeper高併發實戰 》  尼恩

額外理解參考: 

    http://byteliu.com/2017/05/17/%E8%AE%A1%E7%AE%97%E6%9C%BAIO/

    https://juejin.im/post/5cd50e07f265da03ab2343d3


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前端程式員怎麼才能學好演算法呢?目前演算法優秀的視頻集中在c++,java,python,本人通過幾個月專心看c++的視頻掌握了演算法的基本思路,都翻譯成前端代碼一一寫出來,從真題到思維全面提升演算法思維面對演算法面試,不畏懼 二分查找法O(logn)尋找數組中的最大/最小值O(N)歸併排序演算法 O(nlog ...
  • (一)兩種打包表單區別 |屬性 |特點 |應用 | | | | | |get |加到url,直接可見 |書簽,歷史瀏覽 | |post |間接可見,請求發送量多 |私密,訂購,評論,反饋 | (二)三種溯源區別 |屬性 |特點 |應用 | | | | | |url(uniform resource ...
  • 自媒體的發展越來越快,今日頭條旗下的西瓜視頻,火山和抖音在網路上的地位也在發生微妙的變化。包括快手和抖音,微視小視頻平臺的競爭和衝擊也是不容小覷。但是很多用戶還是執著於今日頭條搬運,不離不棄。今天老生常談,跟大家說說,如何利用批量去水印下載西瓜視頻的短視頻。工具不僅僅是支持西瓜的,快手的、抖音的、微 ...
  • 數據類型的分類和判斷 基本(值)類型 Number 任意數值 typeof String 任意字元串 typeof Boolean true/false typeof undefined undefined typeof/ null null 對象(引用)類型 Object typeof/insta ...
  • 《應用框架的設計與實現 .NET 平臺》 [作者] (美) Xin Chen[譯者] (中) 溫昱 靳向陽[出版] 電子工業出版社[版次] 2005年07月 第1版[印次] 2005年07月 第1次 印刷[定價] 39.80元 【第01章】 【應用框架介紹】 (P004) 使用應用框架有五大優點 : ...
  • 前言 本篇文章收錄於專輯:http://dwz.win/HjK,點擊解鎖更多數據結構與演算法的知識。 你好,我是彤哥,一個每天爬二十六層樓還不忘讀源碼的硬核男人。 上一節,我們一起學習了複雜度分析的套路和常見的複雜度。 但是,我們的案例基本都是以時間複雜度為主,很少接觸到空間複雜度。 那麼,到底什麼才 ...
  • 很多人搞不明白 REST(Representational State Transfer 表述性狀態轉移)原因在於一開始就是把它當做設計風格而不是架構風格來理解,因而一上來就大談特談什麼 RESTful API,結果是只見樹木不見森林。 僅從設計的角度去理解 REST(僅把它作為 API 設計原則) ...
  • 一、PreparedStatement介面 1.java.sql.PraparedStatement介面繼承並擴展了Statement介面,用於執行動態的SQL語句,即包含參數的SQL語句。 PraparedStatement ps = connection.preparedStatement("s ...
一周排行
    -Advertisement-
    Play Games
  • .Net8.0 Blazor Hybird 桌面端 (WPF/Winform) 實測可以完整運行在 win7sp1/win10/win11. 如果用其他工具打包,還可以運行在mac/linux下, 傳送門BlazorHybrid 發佈為無依賴包方式 安裝 WebView2Runtime 1.57 M ...
  • 目錄前言PostgreSql安裝測試額外Nuget安裝Person.cs模擬運行Navicate連postgresql解決方案Garnet為什麼要選擇Garnet而不是RedisRedis不再開源Windows版的Redis是由微軟維護的Windows Redis版本老舊,後續可能不再更新Garne ...
  • C#TMS系統代碼-聯表報表學習 領導被裁了之後很快就有人上任了,幾乎是無縫銜接,很難讓我不想到這早就決定好了。我的職責沒有任何變化。感受下來這個系統封裝程度很高,我只要會調用方法就行。這個系統交付之後不會有太多問題,更多應該是做小需求,有大的開發任務應該也是第二期的事,嗯?怎麼感覺我變成運維了?而 ...
  • 我在隨筆《EAV模型(實體-屬性-值)的設計和低代碼的處理方案(1)》中介紹了一些基本的EAV模型設計知識和基於Winform場景下低代碼(或者說無代碼)的一些實現思路,在本篇隨筆中,我們來分析一下這種針對通用業務,且只需定義就能構建業務模塊存儲和界面的解決方案,其中的數據查詢處理的操作。 ...
  • 對某個遠程伺服器啟用和設置NTP服務(Windows系統) 打開註冊表 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\W32Time\TimeProviders\NtpServer 將 Enabled 的值設置為 1,這將啟用NTP伺服器功 ...
  • title: Django信號與擴展:深入理解與實踐 date: 2024/5/15 22:40:52 updated: 2024/5/15 22:40:52 categories: 後端開發 tags: Django 信號 松耦合 觀察者 擴展 安全 性能 第一部分:Django信號基礎 Djan ...
  • 使用xadmin2遇到的問題&解決 環境配置: 使用的模塊版本: 關聯的包 Django 3.2.15 mysqlclient 2.2.4 xadmin 2.0.1 django-crispy-forms >= 1.6.0 django-import-export >= 0.5.1 django-r ...
  • 今天我打算整點兒不一樣的內容,通過之前學習的TransformerMap和LazyMap鏈,想搞點不一樣的,所以我關註了另外一條鏈DefaultedMap鏈,主要調用鏈為: 調用鏈詳細描述: ObjectInputStream.readObject() DefaultedMap.readObject ...
  • 後端應用級開發者該如何擁抱 AI GC?就是在這樣的一個大的浪潮下,我們的傳統的應用級開發者。我們該如何選擇職業或者是如何去快速轉型,跟上這樣的一個行業的一個浪潮? 0 AI金字塔模型 越往上它的整個難度就是職業機會也好,或者說是整個的這個運作也好,它的難度會越大,然後越往下機會就會越多,所以這是一 ...
  • @Autowired是Spring框架提供的註解,@Resource是Java EE 5規範提供的註解。 @Autowired預設按照類型自動裝配,而@Resource預設按照名稱自動裝配。 @Autowired支持@Qualifier註解來指定裝配哪一個具有相同類型的bean,而@Resourc... ...