本章節主要討論瞭如何通過零拷貝技術來優化文件傳輸的性能。零拷貝技術主要通過減少用戶態和內核態之間的上下文切換次數和數據拷貝次數來提高性能。具體來說,介紹了兩種實現零拷貝的方式:mmap + write和sendfile。使用mmap + write可以減少一次數據拷貝過程,而使用sendfile系統... ...
前章回顧
在前一章節中,我們瞭解了DMA技術在文件傳輸中的重要性,並簡要介紹了零拷貝技術。為了提高文件傳輸的性能,我們需要減少用戶態與內核態之間的上下文切換次數以及記憶體拷貝次數。本章將深入探討零拷貝技術的優化方法,讓我們一起走進零拷貝的優化之路!
如何優化文件傳輸的性能?
當我們意識到有問題需要進行優化時,我們可以逐個解決問題,例如先減少用戶態和內核態的上下文切換次數。
我們知道上下文切換是因為用戶空間沒有許可權操作磁碟或網卡,而只能在虛擬空間上進行。相比之下,內核擁有最高許可權,因此操作設備的任務都需要操作系統內核完成。為此,我們需要使用操作系統提供的系統調用函數來通過內核完成這些任務。如果對此還不清楚的小伙伴,可以查看之前章節中單獨講解的內容。
一次系統調用必然會發生兩次上下文切換:首先從用戶態切換到內核態,當內核執行完任務後,再切換回用戶態由進程代碼繼續執行。
因此,要減少上下文切換的次數,就需要減少系統調用的次數。
另外,我們還可以減少數據拷貝的次數。在之前的分析中,我們發現操作會進行四次數據拷貝,包括兩次CPU拷貝和兩次DMA控制器數據拷貝。然而,在文件傳輸過程中,我們實際上並沒有對文件進行任何操作,只是將磁碟文件傳輸給網卡。CPU數據拷貝的次數是由於上下文切換導致CPU在用戶態和內核態之間來回覆制數據,這是沒有必要的。此外,用戶緩衝區在整個傳輸過程中也是沒有必要存在的。
如何實現零拷貝
零拷貝技術實現的方式通常有 2 種:
- mmap + write
- sendfile
讓我們來探討一下如何通過兩種方式實現零拷貝技術,從而減少上下文切換和數據拷貝的次數。
mmap(共用緩衝區) + write
首先是使用 mmap + write 的方式。在之前的討論中,我們瞭解到在使用 read() 系統調用時,會發生將內核緩衝區的數據拷貝到用戶緩衝區的過程。為了減少這一步的開銷,可以使用 mmap() 替換 read() 系統調用函數。
我們之前在討論進程間如何通信時,我們有提到過共用緩衝區,即將內核態的一部分記憶體空間映射到應用程式所使用的虛擬空間上。如圖所示:
而我們此時並不需要多個進程通信,如果只需要將物理記憶體映射給需要文件傳輸的進程,情況就會變得稍有不同。那麼就可以演化成下麵的這種方式,如圖所示:
具體過程如下:
- 應用程式調用 mmap() 函數後,DMA會將磁碟數據拷貝到內核態的緩存區上,然後應用程式與操作系統共用這個緩衝區。
- 應用程式調用 write(),操作系統直接將內核態中的緩衝區數據拷貝到 socket 緩衝區,此時只在內核態進行操作,不會產生用戶態和內核態切換,數據搬運過程由CPU完成。
- 最後,將內核的 socket 緩衝區數據拷貝到網卡中的數據緩衝區,這一步由DMA控制器操作。
我們可以得知,通過使用 mmap() 替代 read(),可以減少一次數據拷貝的過程。然而,這仍然不是最理想的零拷貝方式,因為仍然需要通過 CPU 將內核緩衝區的數據拷貝到 socket 緩衝區,且仍然需要進行 4 次上下文切換,因為系統調用仍然發生了兩次。
接下來,我們來看第二種實現零拷貝的方式 - sendfile。
sendfile
在 Linux 內核版本 2.1 中,引入了一個名為sendfile()的系統調用函數,它提供了一種更高效的文件發送方法。sendfile()函數的使用方式如下:
#include <sys/socket.h>
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);
該函數的前兩個參數是目標端和源端的文件描述符,後面兩個參數分別表示源端的偏移量和要複製的數據長度。函數的返回值是實際複製數據的長度。
sendfile()函數具有以下優點:
首先,它可以代替之前需要使用read()和write()兩個系統調用的操作,從而減少了一次系統調用的開銷。儘管sendfile()函數本身仍然需要進行系統調用,但仍然能夠減少了2次上下文切換的開銷。
其次,該系統調用可以直接將內核緩衝區中的數據複製到套接字緩衝區中,而無需再複製到用戶態。這樣一來,只需要進行2次上下文切換和3次數據拷貝。下圖展示了這一過程的流程:
然而,這個過程仍然不能被稱為真正的零拷貝技術。如果我們的網卡支持SG-DMA(散射-聚集直接記憶體訪問)技術,與普通的DMA有所不同,那麼我們可以進一步減少通過CPU將內核緩衝區中的數據拷貝到套接字緩衝區的過程。
你可以在你的Linux系統上使用以下命令來查看網卡是否支持散射-聚集特性::
$ ethtool -k eth0 | grep scatter-gather
scatter-gather: on
因此,從Linux內核2.4版本開始,在網卡支持SG-DMA技術的情況下,sendfile()系統調用的過程發生了一些變化,具體過程如下:
第一步,通過DMA將磁碟上的數據拷貝到內核緩衝區中;
第二步:內核緩衝區只需要將描述符和數據長度發送給套接字緩衝區,然後將直接通過SG-DMA將內核緩衝區中的數據拷貝到網卡的緩衝區中,這個過程不再需要從操作系統的內核緩衝區中拷貝到套接字緩衝區,從而減少了一次數據拷貝的過程。
因此,在這個過程中,只進行了兩次數據拷貝,如下圖所示:
這就是所謂的零拷貝(Zero-copy)技術,因為我們沒有在記憶體層面進行數據拷貝,也就是說在整個過程中沒有使用CPU來傳輸數據,而是完全依靠DMA來進行數據傳輸。
相比傳統的文件傳輸方式,零拷貝技術可以減少2次上下文切換和數據拷貝的次數,只需要進行2次上下文切換和數據拷貝,就能完成文件的傳輸。而且這2次數據拷貝過程都不需要通過CPU,而是由DMA來進行數據傳輸。
因此,總體來看,零拷貝技術可以將文件傳輸的性能提升至少一倍以上。值得一提的是,在講解零拷貝技術時,並沒有提到網路協議是在哪個步驟中封裝的。大家也應該知道,在內核中完成了網路協議的封裝,而不是直接從緩衝區中取出數據併發送給網卡就結束了。
總結
本章主要介紹了零拷貝技術在文件傳輸中的優化方法。首先,通過減少用戶態和內核態之間的上下文切換次數和數據拷貝次數來優化文件傳輸的性能。其次,介紹了兩種實現零拷貝的方式:mmap + write和sendfile。通過使用mmap + write,可以將內核緩衝區的數據直接拷貝到socket緩衝區,減少一次數據拷貝過程。而使用sendfile系統調用,則可以進一步減少系統調用和數據拷貝次數。若網卡支持SG-DMA技術,還可以通過DMA將內核緩衝區的數據直接拷貝到網卡緩衝區,實現真正的零拷貝。