Netty 粘包/拆包應用案例及解決方案分析

来源:https://www.cnblogs.com/wenhongyu/archive/2018/08/21/9511887.html
-Advertisement-
Play Games

熟悉TCP變成的可以知道,無論是客戶端還是服務端,但我們讀取或者發送消息的時候,都需要考慮TCP底層粘包/拆包機制,下麵我們先看一下TCP 粘包/拆包和基礎知識,然後模擬一個沒有考慮TCP粘包/拆包導致功能異常的案例,最後,通過正確的常式來談談Netty是如何實現的。 主要內容: TCP粘包/拆包的 ...


熟悉TCP變成的可以知道,無論是客戶端還是服務端,但我們讀取或者發送消息的時候,都需要考慮TCP底層粘包/拆包機制,下麵我們先看一下TCP 粘包/拆包和基礎知識,然後模擬一個沒有考慮TCP粘包/拆包導致功能異常的案例,最後,通過正確的常式來談談Netty是如何實現的。

主要內容:

  • TCP粘包/拆包的基礎知識

  • 沒考慮TCP粘包/拆包的問題案例

  • 使用Netty解決讀半包問題

 

1、TCP粘包/拆包

    TCP是個“流“協議,所謂流,就是沒有界限的一串數據。TCP底層並不知道上層業務邏輯,它會根據TCP緩衝區的實際情況進行包的拆分,所以在業務上認為,一個完整的包可能會被拆分成多個包進行發送,也有可能把多個小的包封裝成一個大的數據包發送,這就是所謂的TCP粘包/拆包的問題。

2、TCP粘包/拆包發生的原因

    問題產生的原因有三個:如下

  • 應用程式write寫入的位元組大小大於套介面發送緩衝區大小;

  • 進行MSS大小的分段;

  • 乙太網幀的payload大於MTU進行IP分片; 

備註:mtu是網路傳輸最大報文包。mss是網路傳輸數據最大值。 

https://img3.mukewang.com/5b7ba6030001819a08230455.jpg

3、粘包問題的解決策略

   由於底層TCP無法理解上層業務數據,所以在底層是無法保證數據包不被拆分和重組的,這個問題只能通過上層的應用協議棧設計來解決,根據業界的主流協議的解決方案,可以歸納如下:

  • 消息定長,例如每個報文的大小長度200位元組,如果不夠,不空格;

  • 在包尾增加回車換行符,例如FTP協議;

  • 將消息分為消息頭和消息體,消息頭包含表示消息總長度的欄位,通常設計思路為消息頭的第一個欄位使用int32來表示消息的總長度;

  • 更複雜的設計協議;

介紹完了TCP粘包/拆包的基礎知識後,我們看一下Netty是如何解決半包問題的,是如何使用Netty的半包解碼器來解決TCP粘包/拆包問題。

4、未考慮TCP粘包/拆包問題出現的功能異常

TimeServer的改造(可以查看上一篇文章中的netty客戶端-服務端的實現):

https://img1.mukewang.com/5b7badcc0001a03413320886.jpg

每讀到一條消息後,就計數一次,然後發送應答消息給服務端。

TimeClient端的改造:

https://img2.mukewang.com/5b7bb0c20001cdb211660848.jpg

https://img2.mukewang.com/5b7bb0df0001caaf10360573.jpg

運行結果(服務端接收指令):

The time server receive order : QUERY TIME ORDER

此處省略57行。。。。。。。

QUERY TIME ORD ; the counter is :1

The time server receive order : 

此處省略43行。。。。。。。

QUERY TIME ORDER ; the counter is :2

運行結果(客戶端接收響應):

Now is : BAD ORDER

BAD ORDER

 ; the counter is : 1

原因分析:服務端運行結果表明它只接收到兩條消息,第一條包含57條“QUERY TIME ORDER”指令,第二天包含了43條指令,總數100條,我們期望的也是100條,但是計數只有兩條,所有發生TCP粘包,按照設計初衷,客戶端應該收到100響應,但實際上只收到了1條,不難理解,客戶端也發生了粘包,一條應答消息中包含兩條“BAD ORDER”指令的消息。

5、通過LineBasedFrameDecoder解決TCP粘包問題

   為瞭解決TCP粘包/拆包導致的半包讀寫問題,Netty預設提供了多種編解碼器用於處理半包,這是其他NIO框架和JDK原生的NIO API不能匹敵的。

直接上代碼

TimeServer:

https://img3.mukewang.com/5b7bb71000018a2610730414.jpg

    在原來的TimeServerHandler之前增加了兩個解碼器:LineBasedFrameDecoder、StringDecoder

 

TimeServerHandler:

https://img2.mukewang.com/5b7bbafd0001168013390526.jpg

TimeClient:

https://img3.mukewang.com/5b7bb9b90001e18310300693.jpg

TimeClientHandler:

https://img2.mukewang.com/5b7bbbb500017c0311540389.jpg

支持TCP粘包的運行結果:

服務端:

 

The time server receive order : QUERY TIME ORDER ; the counter is :1

此處省略92條。。。。。。

The time server receive order : QUERY TIME ORDER ; the counter is :100

客戶端:

 

Now is : Tue Aug 21 15:15:21 CST 2018 ; the counter is : 1

此處省略92條。。。。。。

Now is : Tue Aug 21 15:15:21 CST 2018 ; the counter is : 100

 

6、LineBasedFrameDecoder、StringDecoder原來分析

   LineBasedFrameDecoder的工作原理是它依次遍歷ByteBuf中的可讀位元組,判斷是否有“\n“或者“\r\n”,如果有,就以此位置為結束位置,從可讀索引到結束位置區間的位元組就組成了一行。它是以換行符為結束標記的解碼器,

    StringDecoder非常簡單,就是將接收到的對象轉換成字元串,然後繼續調用後面的Handler,

總結:LineBasedFrameDecoder + StringDecoder組合就是按行切換的文本解碼器,它被設計用來支持TCP的粘包、拆包。

疑問:

1、如果發送的消息不是以換行符結束的怎麼辦?

2、靠消息頭中的長度欄位來分包的怎麼辦?

這樣的話是否需要自己寫半包解碼器,答案是否定的,Netty 提供了多種支持 TCP粘包、拆包的解碼器,用來滿足需求,下麵的文章中會詳細介紹《分隔符解碼器》《定長解碼器》,因為它在項目中使用非常廣泛,所以單獨去分享這一知識點。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 不多說,直接開始吧 // ES6之前常用寫法 for(var i = 0;i<10;i++){ /閉包寫法 (function(j){ var a = document.createElement("div"); a.innerHTML = j + " "; a.addEventListener(" ...
  • IE瀏覽器對於同一個URL只返回相同結果。因為,在預設情況下,IE會緩存ajax的請求結果。對於同一個URL地址,在緩存過期之前,只有第一次請求會真正發送到服務端。大多數情況下,我們使用ajax是希望實現局部刷新的,所以這就牽扯到一個改進的問題。 如果想每次都獲取到最新數據,我們只需保證每次傳入的U ...
  • 在微信開發中,寫過的一個簡單的音樂播放組件,記錄下。 music 音樂播放組件。 屬性 代碼 properties: { // 音樂路徑 music: { type: String, value: '', observer: function (newVal) { this._initMusic(n ...
  • this其實是一個Html 元素。 $this 只是個變數名,加$是為說明其是個jquery對象。 而$(this)是個轉換,將this表示的dom對象轉為jquery對象,這樣就可以使用jquery提供的方法操作。 先來看看JQuery中的 $() 這個符號,實際上這個符號在JQuery中相當於J ...
  • 此文是我的出版書籍[《React Native 精解與實戰》](http://rn.parryqiu.com/)連載分享,此書由機械工業出版社出版,書中詳解了 React Native 框架底層原理、React Native 組件佈局、組件與 API 的介紹與代碼實戰,以及 React Native... ...
  • Element.getBoundingClientRect()返回元素的大小及相對於視窗的位置 語法: rectObject=object.getBoundingClientRect(); 返回值是一個DOMRect對象,即DOMRect={x:scrollLeft,y:scrollY,width: ...
  • 開發環境: 安裝JDK8 安裝STS http://spring.io/tools/sts/ 安裝MySql 伺服器 https://www.mysql.com/downloads/ 客戶端 Navicat Premium 12 ...
  • 一、什麼是分散式系統 分散式系統是建立在網路之上的系統。分散式系統背後是由一系列的電腦組成的,但用戶感知不到背後的邏輯,就像訪問單個電腦一樣。 特征: 最開始一臺伺服器上存儲著文件,數據,應用程式。隨著流量的增多,瓶頸出現,應用程式需要更快CPU,資料庫伺服器要更大記憶體(緩存)和硬碟,文件伺服器 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...