從Go編程看IO多路復用Select

来源:https://www.cnblogs.com/softlin/archive/2022/03/26/16060353.html
-Advertisement-
Play Games

IO多路復用通過某種機制使進程監聽某些文件描述符,當文件描述符中有讀或寫就緒時,進程能夠收到系統內核發送的相應通知從而進行相應的IO操作;IO多路復用有:select、poll、epoll等模式,這裡主要介紹select;select本質上也是同步IO,調用時阻塞自己,IO事件就緒後被喚醒返回負責讀 ...


  IO多路復用通過某種機制使進程監聽某些文件描述符,當文件描述符中有讀或寫就緒時,進程能夠收到系統內核發送的相應通知從而進行相應的IO操作;IO多路復用有:select、poll、epoll等模式,這裡主要介紹select;select本質上也是同步IO,調用時阻塞自己,IO事件就緒後被喚醒返回負責讀寫操作;

在Go中其函數定義如下:

func Select(nfd int, r *FdSet, w *FdSet, e *FdSet, timeout 
*Timeval) (n int, err error)

FdSet定義:

type FdSet struct {
  Bits [16]int64
}

select函數實現IO多路復用,通過其參數通知內核:

   1、關註的文件描述符
   2、關心的文件描述符的哪種狀態:可讀、可寫還是異常
   3、等待時間,無限等待阻塞或是固定超時時間

函數參數

  通過上面的介紹可以知道我們需要有這麼幾種參數傳遞給select函數,所關註的描述符,所關註的狀態、等待時間;

函數參數具體含義:

  nfd(maxfd): 文件描述符集合中要監聽的文件描述符個數,0-(maxfd-1)為需要檢測的文件描述符;
  r(readfds): 讀監控文件描述符集,監控文件描述符集的讀變化,如文件描述符集中有文件可讀即通過該參數回傳有變化的描述符,清空無變化的描述符;
  w(writefds): 寫監控文件描述符集,監控文件描述符集的寫變化,如文件描述符集中有文件可寫即通過該參數回傳有變化的描述符,清空無變化的描述符;
  e(exceptfds): 異常監控文件描述符集,監控文件描述符集的異常,如文件描述符集中有文件異常即通過該參數回傳有變化的描述符,清空無變化的描述符;
  timeout參數: 傳入nil時函數無限阻塞等待,整數值為超時時間;

  上面三個文件描述符集合如無需關註某一類狀態可傳入nil,則select將不監控文件描述符的讀、寫或異常;
  tcp連接中可只需關註是否可讀即可;

函數返回:

  通過函數返回可知這麼兩類信息:
  1、準備好的文件描述符個數
  2、具體哪些文件描述符處於就緒可讀、可寫或異常狀態

函數值:

  -1 發生錯誤
  0 函數超時,當設置了超時時間,該時間內未有狀態變化時
  大於0 有滿足讀、寫、異常的文件描述符,需檢查文件描述符集

特別關註

  每次函數返回時都會將文件描述符集FdSet中未發生任何事件的fd清空,每次調用select時都需將所關註的fd重新加入FdSet中;
  可監控文件描述符個數取決於 FdSet中Bits的位長度,每個bit代表一個文件描述符,預設情況下Go中的定義為:Bits [16]int64,也就是一個8位元組整數數組,數組長度為16,第一個數組元素可存儲的文件描述符為:0-63,第二個為:64-127依次類推;此時最多可以監聽的文件描述符數為1024個;

Select的相關問題:

  1、內核將消息傳遞到用戶空間需要執行系統拷貝,如監聽了大量fd會導致性能下降
  2、每次調用select都需要從用戶態拷貝fd集合到內核態
  3、每次調用select內核態都需要遍歷傳進來的所有fd集合
  4、預設select支持的fd集合過小,只有1024;
  5、輪詢效率低,每次調用select、內核通知都需要輪詢整個fd集合

Go中的代碼實現:

func SelectIO(fd int) {
//讀文件描述符集
fdReadSet := &syscall.FdSet{}
connect = &Connect{maxFd: fd, childsMap: map[string]int{}}
for {
	FD_ZERO(fdReadSet)
	FD_SET(fd, fdReadSet) //socket文件描述符
	for _, child := range connect.childsMap {
		FD_SET(child, fdReadSet) //連接監聽
		if child > connect.maxFd {
			connect.maxFd = child
		} else {

		}
	}
	n, err := syscall.Select(connect.maxFd+1, fdReadSet, nil, nil, nil)
	if err != nil {
		log.Println(err)
		if err == syscall.EAGAIN { //非阻塞模型下資源限制或不滿足條件返回eagain 異常 Resource temporarily unavailable
			continue
		}
	}
	log.Printf("n:%v,fdReadSet:%v", n, FD_ISSET(fd, fdReadSet))
	//-1 出錯  >0就緒的文件描述符數  0 超時
	if n > 0 && FD_ISSET(fd, fdReadSet) {
		//接受連接
		nfd, naddr, err := syscall.Accept(fd) //阻塞模式下在此方法會阻塞
		if err != nil {
			log.Printf("接受連接出錯:%v,%v", fd, err)
			continue
		}
		//設置非阻塞
		if err := syscall.SetNonblock(nfd, true); err != nil {
			log.Fatal(err)
		}
		var addr = naddr.(*syscall.SockaddrInet4)
		var ip = fmt.Sprintf("%d.%d.%d.%d:%d", addr.Addr[0], addr.Addr[1],
			addr.Addr[2], addr.Addr[3], addr.Port)
		log.Printf("新連接:%v", ip)
		processConn(nfd, ip)
	} else {
		readMsg(fdReadSet)
		}
	}
}

文章首發地址:https://mp.weixin.qq.com/s/1co33_BaJEwqrSX4GxkYEA


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 這篇文章分享一下我收集到的有關數據扁平化的一些見解和案例,希望對大家有所幫助 什麼是扁平化 數組的扁平化,就是將一個嵌套多層的數組 array (嵌套可以是任何層數)轉換為只有一層的數組。 舉個例子,假設有個名為 flatten 的函數可以做到數組扁平化,效果就會如下: var arr = [1, ...
  • 1、break: 翻譯成中文是打斷、中斷的意思,作用是結束當前的迴圈體,後面的迴圈也不再繼續了,經常使用在for、while迴圈裡面; 2、continue: 翻譯成中文是繼續、延續的意思,作用是跳出本次迴圈,繼續執行下一次迴圈(不是繼續執行當前次迴圈),和break最大的區別就是還會繼續執行下一個 ...
  • JavaWeb-CSS 部分圖片不能提取 具體的編寫規則可以參考樣式表中文手冊(網上可以直接下載) CSS:層疊式樣式表,決定頁面的美觀程度 CSS語法 基礎語法 <!-- 1.CSS最基本的分類:標簽樣式表,類樣式表,ID樣式表 2.CSS從位置位置上的分類:嵌入式樣式表,內部式樣式表,外部時樣式 ...
  • Javascript中的for是如何實現迴圈的? 一、語法結構 單for迴圈 for (初始化變數; 條件表達式; 操作表達式) { 迴圈體 } 雙重for迴圈(也叫迴圈嵌套) for (外層初始化變數; 外層的表達式; 外層的操作表達式) { for (裡層的初始化變數; 裡層的條件表達式; 裡層 ...
  • 裝飾器模式是什麼 是一種結構型設計模式,它允許你將對象放入包含行為的特殊封裝對象中來為原對象綁定新的行為。由於目標對象和裝飾器遵循同一介面,所以你可以對目標進行多次裝飾,最後結果為所有裝飾器疊加的行為。 為什麼用裝飾器模式 需要動態的給一個對象增加功能,並且可以動態的撤銷的時候。當系統需要添加新的功 ...
  • 編寫一個程式,獲取10個1至20的隨機數,要求隨機數不能重覆。 * * 分析: * A:創建隨機數對象 * B:創建一個HashSet集合 * C:判斷集合的長度是不是小於10 * 是:就創建一個隨機數添加 * 否:不搭理它 * D:遍歷HashSet集合 */ package Day17; imp ...
  • 在項目中需要用到group by進行聚合計算,在計算的同時也要查出一些其他欄位來返回給前端。於是就有了這個錯誤的出現。 先簡單復現我所寫的sql,其實sql非常簡單。 select channel_name as channelName, brand_name as brandName, sum(a ...
  • 在項目開發過程中,不可避免的會碰到需要強制增加審計日誌的需求,那具體如何做呢,本文將告訴你答案! ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...