《RPC實戰與核心原理》學習筆記Day3

来源:https://www.cnblogs.com/wing011203/archive/2023/01/20/17062385.html
-Advertisement-
Play Games

常見的網路IO模型有4種:同步阻塞IO、同步非阻塞IO、IO多路復用以及非同步非阻塞IO。 RPC會採用IO多路復用的機制來管理網路通信。 ...


04 | 網路通信:RPC框架在網路通信上更傾向於哪種網路IO模型?

網路通信在RPC調用中有什麼作用?

RPC是解決進程間通信的一種方式,一次RPC調用,本質就是服務消費者與服務提供者之間的一次網路信息交換的過程。服務調用者通過網路IO發送一條請求消息,服務提供者接收並解析,處理完相關的業務邏輯之後,再發送一條響應消息給服務調用者,服務調用者接收並解析響應消息,處理完相關的響應邏輯,一次RPC調用便結束了。我們可以說,網路通信是整個RPC調用流程的基礎。

有哪些常見的網路IO模型?

常見的網路IO模型分為四種:同步阻塞IO(BIO)、同步非阻塞IO(NIO)、IO多路復用和非同步非阻塞IO(AIO)。其中AIO是非同步IO,其他三種都是同步IO。
最常用的IO模型是同步阻塞IO和IO多路復用。

阻塞IO的工作流程是怎樣的?

應用進程發起IO系統調用後,應用進程被阻塞,轉到內核空間處理。內核開始等待數據,等待到數據之後,再將內核中的數據拷貝到用戶記憶體中,整個IO處理完畢後返回進程。最後應用進程解除阻塞狀態,運行業務邏輯。
系統內核在處理IO操作時,主要分為兩個階段:等待數據和拷貝數據。在此期間,應用進程中進行IO操作的線程一直會處於阻塞狀態。

什麼是IO多路復用?

多路就是指多個通道,也就是多個網路連接的IO,復用指多個通道復用在一個復用器上。
多個網路連接的IO可以註冊到一個復用器(select)上,當用戶進程調用了select,整個進程會被阻塞,同時,內核會監視所有socket負責的socket,當任何一個socket中的數據準備好了,select就會返回。這時用戶進程再調用read操作,將數據從內核中拷貝到用戶進程。
IO多路復用的優勢在於用戶可以在一個線程內同時處理多個socket的IO請求,用戶可以註冊多個socket,然後不斷地調用select讀取被激活的socket,這樣可以達到在同一個線程內同時處理多個IO請求的目的。

有哪些常見的框架或者工具會使用IO多路復用?

Java中的NIO、Redis、Nginx、Reactor模式等。

在高性能的網路編程框架的編寫上,大多數都是基於Reactor模式做的,其中的典型就是Java的Netty框架。

RPC調用在大多數情況下,是一個高併發調用的場景,考慮到系統內核的支持、編程語言的支持以及IO模型本身的特點,在RPC框架的實現中,我們選擇IO多路復用作為網路通信採用的IO模型。

什麼是“零拷貝”?

在沒有零拷貝之前,應用進程的每一次寫操作,都會把數據寫到用戶空間的緩衝區內,再由CPU講數據拷貝到系統內核的緩衝區中,之後再由DMA將這份數據拷貝到網卡中,最後由網卡發送出去,這樣一次寫操作數據需要拷貝兩次,而數據讀操作也是類似的流程。

應用進程的一次完整的寫操作,都需要在用戶空間和內核空間中來回拷貝,並且每一次拷貝,都需要CPU進行一次上下文切換。

網路數據讀寫操作示意圖如下。
4-網路讀寫數據流程.png

所謂零拷貝,就是取消用戶空間與內核空間之間的數據拷貝操作,應用進程每一次的讀寫操作,都可以通過一種方式,讓應用進程向用戶空間寫入或者讀取數據,就如同直接向內核空間寫入或者讀取數據一樣,之後再通過DMA將內核中的數據拷貝到網卡,或者將網卡中的數據拷貝到內核。

零拷貝的示意圖如下。
4-零拷貝.png

零拷貝有哪些實現方式?

零拷貝有兩種方式:

  1. mmmap+write
  2. sendfile

這一講對於IO多路復用以及零拷貝講的不是特別詳細,後面可以單獨針對這2個主題深入調研,整理學習筆記。

    作者:李潘     出處:http://wing011203.cnblogs.com/     本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本文我們來探討下如何引入分散式鎖解決本地鎖的問題。本篇所有代碼和業務基於我的開源項目 PassJava。 本篇主要內容如下: 一、本地鎖的問題 首先我們來回顧下本地鎖的問題: 目前題目微服務被拆分成了四個微服務。前端請求進來時,會被轉發到不同的微服務。假如前端接收了 10 W 個請求,每個微服務接收 ...
  • 導讀:設計模式能夠幫助我們優化代碼結構,讓代碼更優雅靈活。有哪些常見的設計模式?如何合理運用?本文分享作者對工廠模式、單例模式、裝飾模式、策略模式、代理模式和觀察者模式的理解,介紹每種模式的模式結構、優缺點、適用場景、註意實現及代碼實現。 ...
  • 2023-01-20 一、SpringMVC消息轉換器概述 1、HttpMessageConverter<T> 消息轉換器作用: (1)將java對象與請求報文及響應報文進行相互轉化 (2)使用HttpMessageConverter<T>將請求信息轉化並綁定到處理方法的入參中或將響應結果轉為對應類 ...
  • 準備工作 原材料 Ubuntu 系統(非必須,Windows 也可以,主要是 Ubuntu 適合編譯) OpenCV 3.4.1 壓縮包 OpenCV contrib 3.4.1 壓縮包 MinGW(Windows 上運行 GCC) 版本信息 GCC 版本 7.5.0 G++ 版本 7.5.0 Op ...
  • :前言 造車輪的時候要用到中文字元串的長度辨別,發現char的識別不准,進行了一番研究。 > 開始研究 在Windows下,中文字元在C++中的記憶體占用為2位元組,此時採用字元串長度獲取函數得到的結果會將一個中文字元識別為兩個長度: #include <stdio.h> #include <strin ...
  • 2023-01-20 一、springMVC中視圖及視圖解析器對象 1、視圖解析器對象(ViewResolver) (1)概述:SpringMVC中所有視圖解析器對象均實現ViewResolver介面 (2)作用:使用ViewResolver,將View從ModelAndView中解析出來 註:在s ...
  • 作者:京東物流 王北永 姚再毅 李振 1 背景 目前,ducc實現了實時近乎所有配置動態生效的場景,但是配置是否實時生效,不能直觀展示每個機器上jvm內對象對應的參數是否已變更為準確的值,大部分時候需要查看日誌確認是否生效。 2 技術依賴 1)Jsf:京東RPC框架,用作機器之間的通訊工具 2)re ...
  • 2023-01-20 一、SpringMVC處理響應數據 1、處理響應數據方式一 (1)語法:使用ModelAndView對象作為返回值類型,處理響應數據 (2)底層實現原理 ①數據共用到request域 ②跳轉路徑方式:轉發 (3)示例代碼 @RequestMapping("/testModelA ...
一周排行
    -Advertisement-
    Play Games
  • 隨著Aspire發佈preview5的發佈,Microsoft.Extensions.ServiceDiscovery隨之更新, 服務註冊發現這個屬於老掉牙的話題解決什麼問題就不贅述了,這裡主要講講Microsoft.Extensions.ServiceDiscovery(preview5)以及如何 ...
  • 概述:通過使用`SemaphoreSlim`,可以簡單而有效地限制非同步HTTP請求的併發量,確保在任何給定時間內不超過20個網頁同時下載。`ParallelOptions`不適用於非同步操作,但可考慮使用`Parallel.ForEach`,儘管在非同步場景中謹慎使用。 對於併發非同步 I/O 操作的數量 ...
  • 1.Linux上安裝Docken 伺服器系統版本以及內核版本:cat /etc/redhat-release 查看伺服器內核版本:uname -r 安裝依賴包:yum install -y yum-utils device-mapper-persistent-data lvm2 設置阿裡雲鏡像源:y ...
  • 概述:WPF界面綁定和渲染大量數據可能導致性能問題。通過啟用UI虛擬化、非同步載入和數據分頁,可以有效提高界面響應性能。以下是簡單示例演示這些優化方法。 在WPF中,當你嘗試綁定和渲染大量的數據項時,性能問題可能出現。以下是一些可能導致性能慢的原因以及優化方法: UI 虛擬化: WPF提供了虛擬化技術 ...
  • 引言 上一章節介紹了 TDD 的三大法則,今天我們講一下在單元測試中模擬對象的使用。 Fake Fake - Fake 是一個通用術語,可用於描述 stub或 mock 對象。 它是 stub 還是 mock 取決於使用它的上下文。 也就是說,Fake 可以是 stub 或 mock Mock - ...
  • 為.net6在CentOS7上面做準備,先在vmware虛擬機安裝CentOS 7.9 新建CentOS764位的系統 因為CentOS8不更新了,所以安裝7;簡單就一筆帶過了 選擇下載好的操作系統的iso文件,下載地址https://mirrors.aliyun.com/centos/7.9.20 ...
  • 經過前面幾篇的學習,我們瞭解到指令的大概分類,如:參數載入指令,該載入指令以 Ld 開頭,將參數載入到棧中,以便於後續執行操作命令。參數存儲指令,其指令以 St 開頭,將棧中的數據,存儲到指定的變數中,以方便後續使用。創建實例指令,其指令以 New 開頭,用於在運行時動態生成並初始化對象。方法調用指... ...
  • LiteDB 是一個輕量級的嵌入式 NoSQL 資料庫,其設計理念與 MongoDB 類似,但它是完全使用 C# 開發的,因此與 C# 應用程式的集成非常順暢。與 SQLite 相比,LiteDB 提供了 NoSQL(即鍵值對)的數據存儲方式,並且是一個開源且免費的項目。它適用於桌面、移動以及 We ...
  • 1 開源解析和拆分文檔 第三方的工具去對文件解析拆分,去將我們的文件內容給提取出來,並將我們的文檔內容去拆分成一個小的chunk。常見的PDF word mark down, JSON、HTML。都可以有很好的一些模塊去把這些文件去進行一個東西去提取。 優勢 支持豐富的文檔類型 每種文檔多樣化選擇 ...
  • OOM是什麼?英文全稱為 OutOfMemoryError(記憶體溢出錯誤)。當程式發生OOM時,如何去定位導致異常的代碼還是挺麻煩的。 要檢查OOM發生的原因,首先需要瞭解各種OOM情況下會報的異常信息。這樣能縮小排查範圍,再結合異常堆棧、heapDump文件、JVM分析工具和業務代碼來判斷具體是哪 ...