IO多路復用通過某種機制使進程監聽某些文件描述符,當文件描述符中有讀或寫就緒時,進程能夠收到系統內核發送的相應通知從而進行相應的IO操作;IO多路復用有:select、poll、epoll等模式,這裡主要介紹select;select本質上也是同步IO,調用時阻塞自己,IO事件就緒後被喚醒返回負責讀 ...
IO多路復用通過某種機制使進程監聽某些文件描述符,當文件描述符中有讀或寫就緒時,進程能夠收到系統內核發送的相應通知從而進行相應的IO操作;IO多路復用有:select、poll、epoll等模式,這裡主要介紹select;select本質上也是同步IO,調用時阻塞自己,IO事件就緒後被喚醒返回負責讀寫操作;
在Go中其函數定義如下:
func Select(nfd int, r *FdSet, w *FdSet, e *FdSet, timeout
*Timeval) (n int, err error)
FdSet定義:
type FdSet struct {
Bits [16]int64
}
select函數實現IO多路復用,通過其參數通知內核:
1、關註的文件描述符
2、關心的文件描述符的哪種狀態:可讀、可寫還是異常
3、等待時間,無限等待阻塞或是固定超時時間
函數參數
通過上面的介紹可以知道我們需要有這麼幾種參數傳遞給select函數,所關註的描述符,所關註的狀態、等待時間;
函數參數具體含義:
nfd(maxfd): 文件描述符集合中要監聽的文件描述符個數,0-(maxfd-1)為需要檢測的文件描述符;
r(readfds): 讀監控文件描述符集,監控文件描述符集的讀變化,如文件描述符集中有文件可讀即通過該參數回傳有變化的描述符,清空無變化的描述符;
w(writefds): 寫監控文件描述符集,監控文件描述符集的寫變化,如文件描述符集中有文件可寫即通過該參數回傳有變化的描述符,清空無變化的描述符;
e(exceptfds): 異常監控文件描述符集,監控文件描述符集的異常,如文件描述符集中有文件異常即通過該參數回傳有變化的描述符,清空無變化的描述符;
timeout參數: 傳入nil時函數無限阻塞等待,整數值為超時時間;
上面三個文件描述符集合如無需關註某一類狀態可傳入nil,則select將不監控文件描述符的讀、寫或異常;
tcp連接中可只需關註是否可讀即可;
函數返回:
通過函數返回可知這麼兩類信息:
1、準備好的文件描述符個數
2、具體哪些文件描述符處於就緒可讀、可寫或異常狀態
函數值:
-1 發生錯誤
0 函數超時,當設置了超時時間,該時間內未有狀態變化時
大於0 有滿足讀、寫、異常的文件描述符,需檢查文件描述符集
特別關註
每次函數返回時都會將文件描述符集FdSet中未發生任何事件的fd清空,每次調用select時都需將所關註的fd重新加入FdSet中;
可監控文件描述符個數取決於 FdSet中Bits的位長度,每個bit代表一個文件描述符,預設情況下Go中的定義為:Bits [16]int64,也就是一個8位元組整數數組,數組長度為16,第一個數組元素可存儲的文件描述符為:0-63,第二個為:64-127依次類推;此時最多可以監聽的文件描述符數為1024個;
Select的相關問題:
1、內核將消息傳遞到用戶空間需要執行系統拷貝,如監聽了大量fd會導致性能下降
2、每次調用select都需要從用戶態拷貝fd集合到內核態
3、每次調用select內核態都需要遍歷傳進來的所有fd集合
4、預設select支持的fd集合過小,只有1024;
5、輪詢效率低,每次調用select、內核通知都需要輪詢整個fd集合
Go中的代碼實現:
func SelectIO(fd int) {
//讀文件描述符集
fdReadSet := &syscall.FdSet{}
connect = &Connect{maxFd: fd, childsMap: map[string]int{}}
for {
FD_ZERO(fdReadSet)
FD_SET(fd, fdReadSet) //socket文件描述符
for _, child := range connect.childsMap {
FD_SET(child, fdReadSet) //連接監聽
if child > connect.maxFd {
connect.maxFd = child
} else {
}
}
n, err := syscall.Select(connect.maxFd+1, fdReadSet, nil, nil, nil)
if err != nil {
log.Println(err)
if err == syscall.EAGAIN { //非阻塞模型下資源限制或不滿足條件返回eagain 異常 Resource temporarily unavailable
continue
}
}
log.Printf("n:%v,fdReadSet:%v", n, FD_ISSET(fd, fdReadSet))
//-1 出錯 >0就緒的文件描述符數 0 超時
if n > 0 && FD_ISSET(fd, fdReadSet) {
//接受連接
nfd, naddr, err := syscall.Accept(fd) //阻塞模式下在此方法會阻塞
if err != nil {
log.Printf("接受連接出錯:%v,%v", fd, err)
continue
}
//設置非阻塞
if err := syscall.SetNonblock(nfd, true); err != nil {
log.Fatal(err)
}
var addr = naddr.(*syscall.SockaddrInet4)
var ip = fmt.Sprintf("%d.%d.%d.%d:%d", addr.Addr[0], addr.Addr[1],
addr.Addr[2], addr.Addr[3], addr.Port)
log.Printf("新連接:%v", ip)
processConn(nfd, ip)
} else {
readMsg(fdReadSet)
}
}
}
文章首發地址:https://mp.weixin.qq.com/s/1co33_BaJEwqrSX4GxkYEA