《RPC實戰與核心原理》學習筆記Day3

来源:https://www.cnblogs.com/wing011203/archive/2023/01/20/17062385.html
-Advertisement-
Play Games

常見的網路IO模型有4種:同步阻塞IO、同步非阻塞IO、IO多路復用以及非同步非阻塞IO。 RPC會採用IO多路復用的機制來管理網路通信。 ...


04 | 網路通信:RPC框架在網路通信上更傾向於哪種網路IO模型?

網路通信在RPC調用中有什麼作用?

RPC是解決進程間通信的一種方式,一次RPC調用,本質就是服務消費者與服務提供者之間的一次網路信息交換的過程。服務調用者通過網路IO發送一條請求消息,服務提供者接收並解析,處理完相關的業務邏輯之後,再發送一條響應消息給服務調用者,服務調用者接收並解析響應消息,處理完相關的響應邏輯,一次RPC調用便結束了。我們可以說,網路通信是整個RPC調用流程的基礎。

有哪些常見的網路IO模型?

常見的網路IO模型分為四種:同步阻塞IO(BIO)、同步非阻塞IO(NIO)、IO多路復用和非同步非阻塞IO(AIO)。其中AIO是非同步IO,其他三種都是同步IO。
最常用的IO模型是同步阻塞IO和IO多路復用。

阻塞IO的工作流程是怎樣的?

應用進程發起IO系統調用後,應用進程被阻塞,轉到內核空間處理。內核開始等待數據,等待到數據之後,再將內核中的數據拷貝到用戶記憶體中,整個IO處理完畢後返回進程。最後應用進程解除阻塞狀態,運行業務邏輯。
系統內核在處理IO操作時,主要分為兩個階段:等待數據和拷貝數據。在此期間,應用進程中進行IO操作的線程一直會處於阻塞狀態。

什麼是IO多路復用?

多路就是指多個通道,也就是多個網路連接的IO,復用指多個通道復用在一個復用器上。
多個網路連接的IO可以註冊到一個復用器(select)上,當用戶進程調用了select,整個進程會被阻塞,同時,內核會監視所有socket負責的socket,當任何一個socket中的數據準備好了,select就會返回。這時用戶進程再調用read操作,將數據從內核中拷貝到用戶進程。
IO多路復用的優勢在於用戶可以在一個線程內同時處理多個socket的IO請求,用戶可以註冊多個socket,然後不斷地調用select讀取被激活的socket,這樣可以達到在同一個線程內同時處理多個IO請求的目的。

有哪些常見的框架或者工具會使用IO多路復用?

Java中的NIO、Redis、Nginx、Reactor模式等。

在高性能的網路編程框架的編寫上,大多數都是基於Reactor模式做的,其中的典型就是Java的Netty框架。

RPC調用在大多數情況下,是一個高併發調用的場景,考慮到系統內核的支持、編程語言的支持以及IO模型本身的特點,在RPC框架的實現中,我們選擇IO多路復用作為網路通信採用的IO模型。

什麼是“零拷貝”?

在沒有零拷貝之前,應用進程的每一次寫操作,都會把數據寫到用戶空間的緩衝區內,再由CPU講數據拷貝到系統內核的緩衝區中,之後再由DMA將這份數據拷貝到網卡中,最後由網卡發送出去,這樣一次寫操作數據需要拷貝兩次,而數據讀操作也是類似的流程。

應用進程的一次完整的寫操作,都需要在用戶空間和內核空間中來回拷貝,並且每一次拷貝,都需要CPU進行一次上下文切換。

網路數據讀寫操作示意圖如下。
4-網路讀寫數據流程.png

所謂零拷貝,就是取消用戶空間與內核空間之間的數據拷貝操作,應用進程每一次的讀寫操作,都可以通過一種方式,讓應用進程向用戶空間寫入或者讀取數據,就如同直接向內核空間寫入或者讀取數據一樣,之後再通過DMA將內核中的數據拷貝到網卡,或者將網卡中的數據拷貝到內核。

零拷貝的示意圖如下。
4-零拷貝.png

零拷貝有哪些實現方式?

零拷貝有兩種方式:

  1. mmmap+write
  2. sendfile

這一講對於IO多路復用以及零拷貝講的不是特別詳細,後面可以單獨針對這2個主題深入調研,整理學習筆記。

    作者:李潘     出處:http://wing011203.cnblogs.com/     本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本文我們來探討下如何引入分散式鎖解決本地鎖的問題。本篇所有代碼和業務基於我的開源項目 PassJava。 本篇主要內容如下: 一、本地鎖的問題 首先我們來回顧下本地鎖的問題: 目前題目微服務被拆分成了四個微服務。前端請求進來時,會被轉發到不同的微服務。假如前端接收了 10 W 個請求,每個微服務接收 ...
  • 導讀:設計模式能夠幫助我們優化代碼結構,讓代碼更優雅靈活。有哪些常見的設計模式?如何合理運用?本文分享作者對工廠模式、單例模式、裝飾模式、策略模式、代理模式和觀察者模式的理解,介紹每種模式的模式結構、優缺點、適用場景、註意實現及代碼實現。 ...
  • 2023-01-20 一、SpringMVC消息轉換器概述 1、HttpMessageConverter<T> 消息轉換器作用: (1)將java對象與請求報文及響應報文進行相互轉化 (2)使用HttpMessageConverter<T>將請求信息轉化並綁定到處理方法的入參中或將響應結果轉為對應類 ...
  • 準備工作 原材料 Ubuntu 系統(非必須,Windows 也可以,主要是 Ubuntu 適合編譯) OpenCV 3.4.1 壓縮包 OpenCV contrib 3.4.1 壓縮包 MinGW(Windows 上運行 GCC) 版本信息 GCC 版本 7.5.0 G++ 版本 7.5.0 Op ...
  • :前言 造車輪的時候要用到中文字元串的長度辨別,發現char的識別不准,進行了一番研究。 > 開始研究 在Windows下,中文字元在C++中的記憶體占用為2位元組,此時採用字元串長度獲取函數得到的結果會將一個中文字元識別為兩個長度: #include <stdio.h> #include <strin ...
  • 2023-01-20 一、springMVC中視圖及視圖解析器對象 1、視圖解析器對象(ViewResolver) (1)概述:SpringMVC中所有視圖解析器對象均實現ViewResolver介面 (2)作用:使用ViewResolver,將View從ModelAndView中解析出來 註:在s ...
  • 作者:京東物流 王北永 姚再毅 李振 1 背景 目前,ducc實現了實時近乎所有配置動態生效的場景,但是配置是否實時生效,不能直觀展示每個機器上jvm內對象對應的參數是否已變更為準確的值,大部分時候需要查看日誌確認是否生效。 2 技術依賴 1)Jsf:京東RPC框架,用作機器之間的通訊工具 2)re ...
  • 2023-01-20 一、SpringMVC處理響應數據 1、處理響應數據方式一 (1)語法:使用ModelAndView對象作為返回值類型,處理響應數據 (2)底層實現原理 ①數據共用到request域 ②跳轉路徑方式:轉發 (3)示例代碼 @RequestMapping("/testModelA ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...