高併發IO底層理解

来源:https://www.cnblogs.com/wangrq/archive/2020/07/26/IO-opration.html
-Advertisement-
Play Games

IO讀寫基礎 應用層在進行read,write系統調用時,不是物理級別的讀寫,而是緩存的複製,進程緩衝區同內核緩衝區的緩存複製,底層數據交換是有由操作系統內核完成,控制內核緩衝與硬體(物理設備)之間數據交換.linux系統在系統內核只有一個內核緩衝區,用戶進程都有獨立的緩衝區,是進程緩衝區。外部設備 ...


IO讀寫基礎

應用層在進行read,write系統調用時,不是物理級別的讀寫,而是緩存的複製,進程緩衝區同內核緩衝區的緩存複製,底層數據交換是有由操作系統內核完成,控制內核緩衝與硬體(物理設備)之間數據交換.linux系統在系統內核只有一個內核緩衝區,用戶進程都有獨立的緩衝區,是進程緩衝區。外部設備的直接讀寫涉及操作系統的中斷,底層操作會對內核緩衝區進行監控,等待緩衝區達到一定數量的時候,再進行IO設備的中斷處理,集中執行物理設備的實際IO操作,這種機制提升了系統的性能,至於什麼時候中斷(讀中斷、寫中斷),由操作系統的內核來決定,用戶程式則不需要關心.

 

 

四種主要的IO模型

1、同步阻塞IO:      在內核進行IO執行的兩個階段,用戶線程都被阻塞,在阻塞期間,用戶線程基本不會占用CPU資源,但在高併發場景下不可採用.

 

 2、同步非阻塞IO: 不斷的進行IO系統調用,輪詢數據狀態,用戶線程不會阻塞,會占用大量的CPU時間,在高併發場景下,也不採可.簡稱NIO.

 

3、 IO多路復用:

系統調用,一種是select/epoll(就緒查詢),一種是IO操作,輪詢查找出達到IO操作就緒的socket連,一個選擇器查詢線程可處理成千上萬個連接,不必創建維護大量線程,減小系統開銷,缺點>select/epoll系統調用是阻塞式的,屬於同步IO.都需要在讀寫事件就緒後,由系統調用本身負責進行讀寫,也就是說這個讀寫過程是阻塞的。

 

 

4、非同步IO:AIO

在內核等待數據和複製數據的兩個階段,用戶線程都不是阻塞的。用戶線程需要接收內核的IO操作完成的事件,或者用戶線程需要註冊一個IO操作完成的回調函數。非同步IO有時也被稱為信號驅動IO.缺點>應用程式僅需要進行事件的註冊與接收,其餘的工作都留給了操作系統,即需要底層內核提供支持。目前Windows系統下通過IOCP實現了真正的非同步IO,在linux系統中還不太完善。

 

 

高併發連接數配置

在生產環境Linux系統中,基本上都需要解除文件句柄數的限制。文件句柄,也叫文件描述符。文件描述符(File Descriptor)是內核為了高效管理已被打開的文件所創建的索引,它是一個非負整數(通常是小整數),用於指代被打開的文件。所有的IO系統調用,包括socket的讀寫調用,都是通過文件描述符完成的。

用ulimit命令,查看單個進程能夠打開的最大文件句柄數量

ulimit -n

一個高併發的應用,併發連接數可以達到數十萬百萬千萬級別,文件句柄數不夠,當單個進程打開的文件句柄數量,超過了系統配置的上限值時,會發出“Socket/File:Can't open so many files”的錯誤提示。

可以通過ulimit來設置這兩個參數, 註意ulimit只能作為臨時修改,系統重啟後,句柄數量又會恢復為預設值

ulimit -n 1000000

永久修改配置,可以編輯 /etc/rc.local 開機啟動文件,在文件中添加如下內容,選項-S表示軟性極限值,-H表示硬性極限值

ulimit -SHn 1000000

終極解除Linux系統的最大文件打開數量的限制,編輯Linux的極限配置文件/etc/security/limits.conf來解決,加入如下內容

#軟性極限
soft nofile 1000000
#硬性極限
hard nofile 1000000

軟性極限是系統警告(Warning)的極限值,超過這個極限值,內核會發出警告。

 

小結:

學習理解了低層IO操作的2個階段:等待數據和複製數據。加深了對四種主要IO模型的理解掌握,前3種都是同步IO,因為實際IO操作都會阻塞應用的線程。僅第四種是真正的非同步IO,但是依賴於系統內核的支持。這些內容為學習Netty這個優秀框架打下良好的理論基礎。

 

書籍閱讀:《Netty、redis、zookeeper高併發實戰 》  尼恩

額外理解參考: 

    http://byteliu.com/2017/05/17/%E8%AE%A1%E7%AE%97%E6%9C%BAIO/

    https://juejin.im/post/5cd50e07f265da03ab2343d3


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前端程式員怎麼才能學好演算法呢?目前演算法優秀的視頻集中在c++,java,python,本人通過幾個月專心看c++的視頻掌握了演算法的基本思路,都翻譯成前端代碼一一寫出來,從真題到思維全面提升演算法思維面對演算法面試,不畏懼 二分查找法O(logn)尋找數組中的最大/最小值O(N)歸併排序演算法 O(nlog ...
  • (一)兩種打包表單區別 |屬性 |特點 |應用 | | | | | |get |加到url,直接可見 |書簽,歷史瀏覽 | |post |間接可見,請求發送量多 |私密,訂購,評論,反饋 | (二)三種溯源區別 |屬性 |特點 |應用 | | | | | |url(uniform resource ...
  • 自媒體的發展越來越快,今日頭條旗下的西瓜視頻,火山和抖音在網路上的地位也在發生微妙的變化。包括快手和抖音,微視小視頻平臺的競爭和衝擊也是不容小覷。但是很多用戶還是執著於今日頭條搬運,不離不棄。今天老生常談,跟大家說說,如何利用批量去水印下載西瓜視頻的短視頻。工具不僅僅是支持西瓜的,快手的、抖音的、微 ...
  • 數據類型的分類和判斷 基本(值)類型 Number 任意數值 typeof String 任意字元串 typeof Boolean true/false typeof undefined undefined typeof/ null null 對象(引用)類型 Object typeof/insta ...
  • 《應用框架的設計與實現 .NET 平臺》 [作者] (美) Xin Chen[譯者] (中) 溫昱 靳向陽[出版] 電子工業出版社[版次] 2005年07月 第1版[印次] 2005年07月 第1次 印刷[定價] 39.80元 【第01章】 【應用框架介紹】 (P004) 使用應用框架有五大優點 : ...
  • 前言 本篇文章收錄於專輯:http://dwz.win/HjK,點擊解鎖更多數據結構與演算法的知識。 你好,我是彤哥,一個每天爬二十六層樓還不忘讀源碼的硬核男人。 上一節,我們一起學習了複雜度分析的套路和常見的複雜度。 但是,我們的案例基本都是以時間複雜度為主,很少接觸到空間複雜度。 那麼,到底什麼才 ...
  • 很多人搞不明白 REST(Representational State Transfer 表述性狀態轉移)原因在於一開始就是把它當做設計風格而不是架構風格來理解,因而一上來就大談特談什麼 RESTful API,結果是只見樹木不見森林。 僅從設計的角度去理解 REST(僅把它作為 API 設計原則) ...
  • 一、PreparedStatement介面 1.java.sql.PraparedStatement介面繼承並擴展了Statement介面,用於執行動態的SQL語句,即包含參數的SQL語句。 PraparedStatement ps = connection.preparedStatement("s ...
一周排行
    -Advertisement-
    Play Games
  • 新改進提供的Taurus Rpc 功能,可以簡化微服務間的調用,同時可以不用再手動輸出模塊名稱,或調用路徑,包括負載均衡,這一切,由框架實現並提供了。新的Taurus Rpc 功能,將使得服務間的調用,更加輕鬆、簡約、高效。 ...
  • 本章將和大家分享ES的數據同步方案和ES集群相關知識。廢話不多說,下麵我們直接進入主題。 一、ES數據同步 1、數據同步問題 Elasticsearch中的酒店數據來自於mysql資料庫,因此mysql數據發生改變時,Elasticsearch也必須跟著改變,這個就是Elasticsearch與my ...
  • 引言 在我們之前的文章中介紹過使用Bogus生成模擬測試數據,今天來講解一下功能更加強大自動生成測試數據的工具的庫"AutoFixture"。 什麼是AutoFixture? AutoFixture 是一個針對 .NET 的開源庫,旨在最大程度地減少單元測試中的“安排(Arrange)”階段,以提高 ...
  • 經過前面幾個部分學習,相信學過的同學已經能夠掌握 .NET Emit 這種中間語言,並能使得它來編寫一些應用,以提高程式的性能。隨著 IL 指令篇的結束,本系列也已經接近尾聲,在這接近結束的最後,會提供幾個可供直接使用的示例,以供大伙分析或使用在項目中。 ...
  • 當從不同來源導入Excel數據時,可能存在重覆的記錄。為了確保數據的準確性,通常需要刪除這些重覆的行。手動查找並刪除可能會非常耗費時間,而通過編程腳本則可以實現在短時間內處理大量數據。本文將提供一個使用C# 快速查找並刪除Excel重覆項的免費解決方案。 以下是實現步驟: 1. 首先安裝免費.NET ...
  • C++ 異常處理 C++ 異常處理機制允許程式在運行時處理錯誤或意外情況。它提供了捕獲和處理錯誤的一種結構化方式,使程式更加健壯和可靠。 異常處理的基本概念: 異常: 程式在運行時發生的錯誤或意外情況。 拋出異常: 使用 throw 關鍵字將異常傳遞給調用堆棧。 捕獲異常: 使用 try-catch ...
  • 優秀且經驗豐富的Java開發人員的特征之一是對API的廣泛瞭解,包括JDK和第三方庫。 我花了很多時間來學習API,尤其是在閱讀了Effective Java 3rd Edition之後 ,Joshua Bloch建議在Java 3rd Edition中使用現有的API進行開發,而不是為常見的東西編 ...
  • 框架 · 使用laravel框架,原因:tp的框架路由和orm沒有laravel好用 · 使用強制路由,方便介面多時,分多版本,分文件夾等操作 介面 · 介面開發註意欄位類型,欄位是int,查詢成功失敗都要返回int(對接java等強類型語言方便) · 查詢介面用GET、其他用POST 代碼 · 所 ...
  • 正文 下午找企業的人去鎮上做貸後。 車上聽同事跟那個司機對罵,火星子都快出來了。司機跟那同事更熟一些,連我在內一共就三個人,同事那一手指桑罵槐給我都聽愣了。司機也是老社會人了,馬上聽出來了,為那個無辜的企業經辦人辯護,實際上是為自己辯護。 “這個事情你不能怪企業。”“但他們總不能讓銀行的人全權負責, ...
  • 1. JUnit 最佳實踐指南 原文: https://howtodoinjava.com/best-practices/unit-testing-best-practices-junit-reference-guide/ 我假設您瞭解 JUnit 的基礎知識。 如果您沒有基礎知識,請首先閱讀(已針 ...