《RPC實戰與核心原理》學習筆記Day3

来源:https://www.cnblogs.com/wing011203/archive/2023/01/20/17062385.html
-Advertisement-
Play Games

常見的網路IO模型有4種:同步阻塞IO、同步非阻塞IO、IO多路復用以及非同步非阻塞IO。 RPC會採用IO多路復用的機制來管理網路通信。 ...


04 | 網路通信:RPC框架在網路通信上更傾向於哪種網路IO模型?

網路通信在RPC調用中有什麼作用?

RPC是解決進程間通信的一種方式,一次RPC調用,本質就是服務消費者與服務提供者之間的一次網路信息交換的過程。服務調用者通過網路IO發送一條請求消息,服務提供者接收並解析,處理完相關的業務邏輯之後,再發送一條響應消息給服務調用者,服務調用者接收並解析響應消息,處理完相關的響應邏輯,一次RPC調用便結束了。我們可以說,網路通信是整個RPC調用流程的基礎。

有哪些常見的網路IO模型?

常見的網路IO模型分為四種:同步阻塞IO(BIO)、同步非阻塞IO(NIO)、IO多路復用和非同步非阻塞IO(AIO)。其中AIO是非同步IO,其他三種都是同步IO。
最常用的IO模型是同步阻塞IO和IO多路復用。

阻塞IO的工作流程是怎樣的?

應用進程發起IO系統調用後,應用進程被阻塞,轉到內核空間處理。內核開始等待數據,等待到數據之後,再將內核中的數據拷貝到用戶記憶體中,整個IO處理完畢後返回進程。最後應用進程解除阻塞狀態,運行業務邏輯。
系統內核在處理IO操作時,主要分為兩個階段:等待數據和拷貝數據。在此期間,應用進程中進行IO操作的線程一直會處於阻塞狀態。

什麼是IO多路復用?

多路就是指多個通道,也就是多個網路連接的IO,復用指多個通道復用在一個復用器上。
多個網路連接的IO可以註冊到一個復用器(select)上,當用戶進程調用了select,整個進程會被阻塞,同時,內核會監視所有socket負責的socket,當任何一個socket中的數據準備好了,select就會返回。這時用戶進程再調用read操作,將數據從內核中拷貝到用戶進程。
IO多路復用的優勢在於用戶可以在一個線程內同時處理多個socket的IO請求,用戶可以註冊多個socket,然後不斷地調用select讀取被激活的socket,這樣可以達到在同一個線程內同時處理多個IO請求的目的。

有哪些常見的框架或者工具會使用IO多路復用?

Java中的NIO、Redis、Nginx、Reactor模式等。

在高性能的網路編程框架的編寫上,大多數都是基於Reactor模式做的,其中的典型就是Java的Netty框架。

RPC調用在大多數情況下,是一個高併發調用的場景,考慮到系統內核的支持、編程語言的支持以及IO模型本身的特點,在RPC框架的實現中,我們選擇IO多路復用作為網路通信採用的IO模型。

什麼是“零拷貝”?

在沒有零拷貝之前,應用進程的每一次寫操作,都會把數據寫到用戶空間的緩衝區內,再由CPU講數據拷貝到系統內核的緩衝區中,之後再由DMA將這份數據拷貝到網卡中,最後由網卡發送出去,這樣一次寫操作數據需要拷貝兩次,而數據讀操作也是類似的流程。

應用進程的一次完整的寫操作,都需要在用戶空間和內核空間中來回拷貝,並且每一次拷貝,都需要CPU進行一次上下文切換。

網路數據讀寫操作示意圖如下。
4-網路讀寫數據流程.png

所謂零拷貝,就是取消用戶空間與內核空間之間的數據拷貝操作,應用進程每一次的讀寫操作,都可以通過一種方式,讓應用進程向用戶空間寫入或者讀取數據,就如同直接向內核空間寫入或者讀取數據一樣,之後再通過DMA將內核中的數據拷貝到網卡,或者將網卡中的數據拷貝到內核。

零拷貝的示意圖如下。
4-零拷貝.png

零拷貝有哪些實現方式?

零拷貝有兩種方式:

  1. mmmap+write
  2. sendfile

這一講對於IO多路復用以及零拷貝講的不是特別詳細,後面可以單獨針對這2個主題深入調研,整理學習筆記。

    作者:李潘     出處:http://wing011203.cnblogs.com/     本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本文我們來探討下如何引入分散式鎖解決本地鎖的問題。本篇所有代碼和業務基於我的開源項目 PassJava。 本篇主要內容如下: 一、本地鎖的問題 首先我們來回顧下本地鎖的問題: 目前題目微服務被拆分成了四個微服務。前端請求進來時,會被轉發到不同的微服務。假如前端接收了 10 W 個請求,每個微服務接收 ...
  • 導讀:設計模式能夠幫助我們優化代碼結構,讓代碼更優雅靈活。有哪些常見的設計模式?如何合理運用?本文分享作者對工廠模式、單例模式、裝飾模式、策略模式、代理模式和觀察者模式的理解,介紹每種模式的模式結構、優缺點、適用場景、註意實現及代碼實現。 ...
  • 2023-01-20 一、SpringMVC消息轉換器概述 1、HttpMessageConverter<T> 消息轉換器作用: (1)將java對象與請求報文及響應報文進行相互轉化 (2)使用HttpMessageConverter<T>將請求信息轉化並綁定到處理方法的入參中或將響應結果轉為對應類 ...
  • 準備工作 原材料 Ubuntu 系統(非必須,Windows 也可以,主要是 Ubuntu 適合編譯) OpenCV 3.4.1 壓縮包 OpenCV contrib 3.4.1 壓縮包 MinGW(Windows 上運行 GCC) 版本信息 GCC 版本 7.5.0 G++ 版本 7.5.0 Op ...
  • :前言 造車輪的時候要用到中文字元串的長度辨別,發現char的識別不准,進行了一番研究。 > 開始研究 在Windows下,中文字元在C++中的記憶體占用為2位元組,此時採用字元串長度獲取函數得到的結果會將一個中文字元識別為兩個長度: #include <stdio.h> #include <strin ...
  • 2023-01-20 一、springMVC中視圖及視圖解析器對象 1、視圖解析器對象(ViewResolver) (1)概述:SpringMVC中所有視圖解析器對象均實現ViewResolver介面 (2)作用:使用ViewResolver,將View從ModelAndView中解析出來 註:在s ...
  • 作者:京東物流 王北永 姚再毅 李振 1 背景 目前,ducc實現了實時近乎所有配置動態生效的場景,但是配置是否實時生效,不能直觀展示每個機器上jvm內對象對應的參數是否已變更為準確的值,大部分時候需要查看日誌確認是否生效。 2 技術依賴 1)Jsf:京東RPC框架,用作機器之間的通訊工具 2)re ...
  • 2023-01-20 一、SpringMVC處理響應數據 1、處理響應數據方式一 (1)語法:使用ModelAndView對象作為返回值類型,處理響應數據 (2)底層實現原理 ①數據共用到request域 ②跳轉路徑方式:轉發 (3)示例代碼 @RequestMapping("/testModelA ...
一周排行
    -Advertisement-
    Play Games
  • Dapr Outbox 是1.12中的功能。 本文只介紹Dapr Outbox 執行流程,Dapr Outbox基本用法請閱讀官方文檔 。本文中appID=order-processor,topic=orders 本文前提知識:熟悉Dapr狀態管理、Dapr發佈訂閱和Outbox 模式。 Outbo ...
  • 引言 在前幾章我們深度講解了單元測試和集成測試的基礎知識,這一章我們來講解一下代碼覆蓋率,代碼覆蓋率是單元測試運行的度量值,覆蓋率通常以百分比表示,用於衡量代碼被測試覆蓋的程度,幫助開發人員評估測試用例的質量和代碼的健壯性。常見的覆蓋率包括語句覆蓋率(Line Coverage)、分支覆蓋率(Bra ...
  • 前言 本文介紹瞭如何使用S7.NET庫實現對西門子PLC DB塊數據的讀寫,記錄了使用電腦模擬,模擬PLC,自至完成測試的詳細流程,並重點介紹了在這個過程中的易錯點,供參考。 用到的軟體: 1.Windows環境下鏈路層網路訪問的行業標準工具(WinPcap_4_1_3.exe)下載鏈接:http ...
  • 從依賴倒置原則(Dependency Inversion Principle, DIP)到控制反轉(Inversion of Control, IoC)再到依賴註入(Dependency Injection, DI)的演進過程,我們可以理解為一種逐步抽象和解耦的設計思想。這種思想在C#等面向對象的編 ...
  • 關於Python中的私有屬性和私有方法 Python對於類的成員沒有嚴格的訪問控制限制,這與其他面相對對象語言有區別。關於私有屬性和私有方法,有如下要點: 1、通常我們約定,兩個下劃線開頭的屬性是私有的(private)。其他為公共的(public); 2、類內部可以訪問私有屬性(方法); 3、類外 ...
  • C++ 訪問說明符 訪問說明符是 C++ 中控制類成員(屬性和方法)可訪問性的關鍵字。它們用於封裝類數據並保護其免受意外修改或濫用。 三種訪問說明符: public:允許從類外部的任何地方訪問成員。 private:僅允許在類內部訪問成員。 protected:允許在類內部及其派生類中訪問成員。 示 ...
  • 寫這個隨筆說一下C++的static_cast和dynamic_cast用在子類與父類的指針轉換時的一些事宜。首先,【static_cast,dynamic_cast】【父類指針,子類指針】,兩兩一組,共有4種組合:用 static_cast 父類轉子類、用 static_cast 子類轉父類、使用 ...
  • /******************************************************************************************************** * * * 設計雙向鏈表的介面 * * * * Copyright (c) 2023-2 ...
  • 相信接觸過spring做開發的小伙伴們一定使用過@ComponentScan註解 @ComponentScan("com.wangm.lifecycle") public class AppConfig { } @ComponentScan指定basePackage,將包下的類按照一定規則註冊成Be ...
  • 操作系統 :CentOS 7.6_x64 opensips版本: 2.4.9 python版本:2.7.5 python作為腳本語言,使用起來很方便,查了下opensips的文檔,支持使用python腳本寫邏輯代碼。今天整理下CentOS7環境下opensips2.4.9的python模塊筆記及使用 ...