Linux下的I/O模型以及各自的優缺點

来源:http://www.cnblogs.com/pluviophile/archive/2017/09/02/7466240.html
-Advertisement-
Play Games

其實關於這方面的知識,我閱讀的是《UNIX網路編程:捲一》,書里是以UNIX為中心展開描述的,根據這部分知識,在網上參考了部分資料。以Linux為中心整理了這篇博客。 Linux的I/O模型 和Unix的I/O模型基本一致,Linux下一共有5種I/O模型[1] 阻塞式I/O模型; 非阻塞式I/O模 ...


其實關於這方面的知識,我閱讀的是《UNIX網路編程:捲一》,書里是以UNIX為中心展開描述的,根據這部分知識,在網上參考了部分資料。以Linux為中心整理了這篇博客。

Linux的I/O模型

和Unix的I/O模型基本一致,Linux下一共有5種I/O模型[1]

  • 阻塞式I/O模型;
  • 非阻塞式I/O模型;
  • I/O復用式模型;
  • 信號驅動動式I/O模型
  • 非同步I/O模型

上面這個列表,算是絕大部分關於Linux I/O模型博客中都會貼出來的。

在上述5種I/O模型中,前4種,其實都可以劃分為同步I/O方式,只有最有一種非同步I/O模型才使用非同步I/O方式。
為什麼這麼劃分呢,就得仔細看看這5種I/O模型到底是什麼。

行文須知

下文中對各個模型的描述,都是使用數據報(UDP)套接字作為例子進行說明的。
因為UDP相對與TCP來說比較簡單——要麼整個數據報已經收到,要麼還沒有——而對於TCP來說,套接字低水位標記等額外變數開始起作用,導致整個概念變得複雜。(加粗字體的內容在寫這篇博客時,並沒有搞清楚是什麼,可能後續會陸續搞懂)


一、阻塞式I/O

通常我們使用的I/O都是阻塞式I/O,在編程時使用的大多數也是阻塞式I/O。在預設情況下,所有的套接字(socket)都是阻塞的。下圖解釋了阻塞式I/O模型的流程

上圖中,我們說從調用recvfrom開始到它返回的整段時間內是被阻塞的,recvfrom成功返回後,引用程式才開始處理數據報。

阻塞式I/O的優缺點

優點
阻塞式I/O很容易上手,一般程式按照read-process的順序進行處理就好。通常來說我們編寫的第一個TCP的C/S程式就是阻塞式I/O模型的。並且該模型定位錯誤,在阻塞時整個進程將被掛起,基本不會占用CPU資源。
缺點:
該模型的缺點也十分明顯。作為伺服器,需要處理同時多個的套接字,使用該模型對具有多個的客戶端併發的場景時就顯得力不從心。
當然也有補救方法,我們使用多線程技術來彌補這個缺陷。但是多線程在具有大量連接時,多線程技術帶來的資源消耗也不容小看:

如果我們現在有1000個連接時,就需要開啟1000個線程來處理這些連接,於是就會出現下麵的情況

  • 線程有記憶體開銷,假設每個線程需要512K的存放棧,那麼1000個連接就需要月512M的記憶體。當併發量高的時候,這樣的記憶體開銷是無法接受的。
  • 線程切換有CPU開銷,這個CPU開銷體現在上下文切換上,如果線程數越多,那麼大多數CPU時間都用於上下文切換,這樣每個線程的時間槽會非常短,CPU真正處理數據的時間就會少了非常多。

二、非阻塞式I/O

有阻塞I/O,那麼也會有非阻塞I/O,在上文說過預設情況下,所有的套接字都是阻塞的,那麼通過設置套接字的NONBLOCK(一般在open(),socket()等調用中設置)標誌或者設置recvsend等輸入輸出函數的MSG_DONTWAIT標誌就可以實現非阻塞操作。
那我們來看看非阻塞I/O模型的運行流程吧

可以看到,前三次recvfrom時沒有數據可以返回,此時內核不阻塞進程,轉而立即返回一個EWOULDBLOCK錯誤。第四次調用recvfrom時已經有一個數據報準備好了,此時它將被覆制到應用進程的緩衝區,於是recvfrom調用成功返回。
當一個應用進程像這樣對一個非阻塞描述符迴圈調用recvfrom時,我們稱之為輪詢(polling)

非阻塞式I/O的優缺點

優點
這種I/O方式也有明顯的優勢,即不會阻塞在內核的等待數據過程,每次發起的I/O請求可以立即返回,不用阻塞等待。在數據量收發不均,等待時間隨機性極強的情況下比較常用。
缺點
輪詢這一個特征就已近暴露了這個I/O模型的缺點。輪詢將會不斷地詢問內核,這將占用大量的CPU時間,系統資源利用率較低。同時,該模型也不便於使用,需要編寫複雜的代碼。


三、I/O復用模型

上文中說到,在出現大量的鏈接時,使用多線程+阻塞I/O的編程模型會占用大量的記憶體。那麼I/O復用技術在記憶體占用方面,就有著很好的控制。
當前的高性能反向代理伺服器Nginx使用的就是I/O復用模型(epoll),它以高性能和低資源消耗著稱,在大規模併發上也有著很好的表現。
那麼,我們就來看一看I/O復用模型的面目吧

那到底什麼是I/O復用(I/O multiplexing)。根據我的理解,復用指的是復用線程,從阻塞式I/O來看,基本一個套接字就霸占了整個線程。例如當對一個套接字調用recvfrom調用時,整個線程將被阻塞掛起,直到數據報準備完畢。
多路復用就是復用一個線程的I/O模型,Linux中擁有幾個調用來實現I/O復用的系統調用——select,poll,epoll(Linux 2.6+)

線程將阻塞在上面的三個系統調用中的某一個之上,而不是阻塞在真正的I/O系統調用上。I/O復用允許對多個套接字進行監聽,當有某個套接字準備就緒(可讀/可寫/異常)時,系統調用將會返回。
然後我們可能將重新啟用一個線程並調用recvfrom來將特定套接字中的數據報從內核緩衝區複製到進程緩衝區。

I/O復用模型的優缺點

優點
I/O復用技術的優勢在於,只需要使用一個線程就可以管理多個socket,系統不需要建立新的進程或者線程,也不必維護這些線程和進程,所以它也是很大程度上減少了資源占用。
另外I/O復用技術還可以同時監聽不同協議的套接字
缺點
在只處理連接數較小的場合,使用select的伺服器不一定比多線程+阻塞I/O模型效率高,可能延遲更大,因為單個連接處理需要2次系統調用,占用時間會有增加。


四、信號驅動式I/O模型

當然你可能會想到使用信號這一機制來避免I/O時線程陷入阻塞狀態。那麼內核開發者怎麼可能會想不到。那麼我們來看看信號驅動式I/O模型的具體流程

從上圖可以看到,我們首先開啟套接字的信號驅動式I/O功能,並通過sigaction系統調用來安裝一個信號處理函數,我們進程不會被阻塞。
當數據報準備好讀取時,內核就為該進程產生一個SIGIO信號,此時我們可以在信號處理函數中調用recvfrom讀取數據報,並通知數據已經準備好,正在等待處理。

信號驅動式I/O模型的優缺點

優點
很明顯,我們的線程並沒有在等待數據時被阻塞,可以提高資源的利用率
缺點
其實在Unix中,信號是一個被過度設計的機制(這句話來自知乎大神,有待考究)
信號I/O在大量IO操作時可能會因為信號隊列溢出導致沒法通知——這個是一個非常嚴重的問題。


稍微歇息一下,還記得我們前面說過這4種I/O模型都可以劃分為同步I/O方式,那我們來看看為什麼。
瞭解了4種I/O模型的調用過程後,我們可以註意到,在數據從內核緩衝區複製到用戶緩衝區時,都需要進程顯示調用recvfrom,並且這個複製過程是阻塞的。
也就是說真正I/O過程(這裡的I/O有點狹義,指的是內核緩衝區到用戶緩衝區)是同步阻塞的,不同的是各個I/O模型在數據報準備好之前的動作不一樣。

下麵所說的非同步I/O模型將會有所不同

五、非同步I/O模型

非同步I/O,是由POSIX規範定義的。這個規範定義了一些函數,這些函數的工作機制是:告知內核啟動某個操作,並讓內核在整個操作完成後再通知我們。(包括將數據從內核覆制到我們進程的緩衝區)
照樣,先看模型的流程

全程沒有阻塞,真正做到了非同步
非同步的優點還用說明嗎?

but

非同步I/O在Linux2.6才引入,而且到現在仍然未成熟。
雖然有知名的非同步I/O庫 glibc,但是聽說glibc採用多線程模擬,但存在一些bug和設計上的不合理。wtf?多線程模擬,那還有殺卵用。

引入非同步I/O可能會代碼難以理解的問題,這個站在軟體工程的角度也是需要細細衡量的。


總結

關於對Linux 的I/O模型的學習就寫到這裡,每個模型都有自己使用的範圍

Talk is cheap, show me the code
實踐出真知。
關於I/O模型的實驗代碼會在2017年10月前放到我的github倉庫中。

參考文獻

  1. 《Unix網路編程捲1:套接字聯網API》(第3版)人民郵電出版社

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 上一篇:redis的安裝及註意事項 這裡,在一個Linux虛擬機上搭建6個節點的redis偽集群,思路很簡單,一臺虛擬機上開啟6個redis實例,每個redis實例有自己的埠。這樣的話,相當於模擬出了6台機器了,然後在以這6個實例組建redis集群就可以了。 前提:redis已經安裝,目錄為/us ...
  • 在linux中使用wget時,若報-bash: wget: command not found,則表明沒有安裝wget,需要安裝,安裝命令如下: yum -y install wget 安裝完成即可以使用。 使用 vim 時出現 -bash: vim: command not found. 只能使用 ...
  • grant select any table to xxx 將使得xxx用戶能夠查看到所有用戶的表;正確的授權不能是這樣; 用戶是隔離表的schema,授權時.. ...
  • 第一種 一、修改my.ini配置文件(MySQL配置文件) character_set_server = utf8 #設置字元集 重啟mysql資料庫服務 查看當前資料庫字元集 show VARIABLES like 'character%'; 二、修改資料庫字元集 alter database 數 ...
  • 進入mysql: mysql -hlocalhost -uroot -p; mysql -uroot -p密碼; 查看幫助文檔: help 查看名 database(s); 創建資料庫: create database database_name; create databse if not exi ...
  • 1. 單主模式的部署步驟 目標:部署一個有3台主機的單主模式的MySQL分組。 Primary:192.168.197.110。 Secondary:192.168.197.111。 Secondary:192.168.197.112。 MySQL埠:3306,MySQL分組複製埠:33061。 ...
  • 有時候,一般情況下,我們對伺服器上 IIS 上的管理局限於 使用遠程桌面;現在介紹一種,通過 本機 管理管理遠程IIS 的方法! 1. 伺服器端設置: 伺服器管理器 ==》增加角色和功能嚮導==》勾選 管理服務 安裝。 1)如圖所示安裝 2)安裝完成之後,遠程 的 IIS 中 安全性 一欄中 會 出 ...
  • 一、兩個腳本代碼 Dockerfile hello_world.sh 二、打包成鏡像 1、 這裡要註意,打包指令需要在Dockerfile、hello_world.sh下進行,指令後面最後一個“.”,這叫上下文路徑。 2、查看鏡像文件列表,看看是否成功 三、保存成tar.gz格式並檢查當前目錄下包是 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...