第二十八天- tcp下的粘包和解決方案

来源:https://www.cnblogs.com/xi1419/archive/2018/11/23/10010200.html
-Advertisement-
Play Games

1.什麼是粘包 寫在前面：只有TCP有粘包現象，UDP永遠不會粘包 1.TCP下的粘包 因為TCP協議是面向連接、面向流的，收發兩端（客戶端和伺服器端）都要有成對的socket，因此，發送端為了將多個發往接收端的包，更有效的發到對方，使用了優化方法（Nagle演算法），將多次間隔較小且數據量小的數據， ...


 

1.什麼是粘包

　　寫在前面：只有TCP有粘包現象，UDP永遠不會粘包

　　1.TCP下的粘包

　　因為TCP協議是面向連接、面向流的，收發兩端（客戶端和伺服器端）都要有成對的socket，因此，發送端為了將多個發往接收端的包，更有效的發到對方，使用了優化方法（Nagle演算法），將多次間隔較小且數據量小的數據，合併成一個大的數據塊，然後進行封包，這就導致了數據量小的粘包現象；同時因為tcp的協議的安全可靠性，在沒有收完包，下次接收，會繼續上次繼續接收，己端總是在收到ack時才會清除緩衝區內容。數據是可靠的，但是會導致數據量大的粘包；

　　2.UDP沒粘包原因：

　　UDP是無連接的，面向消息的，為提供高效率服務 ，並不會使用塊的合併優化演算法；同時由於UDP支持一對多的模式，所以接收端緩衝區採用了鏈式結構來記錄每一個到達的UDP包，也就是在每個UDP包中有頭（消息來源地址，埠等信息），這樣，對於接收端來說就是有邊界的，所以UDP永遠沒粘包。 

 

 

2.兩種粘包情況　　

　　1.情況一 發送方的緩存機制
　　發送端需要等緩衝區滿才發送出去，造成粘包（發送數據時間間隔很短，數據了很小，優化機制會合到一起，產生粘包）

 1 # 連續傳小包被優化機制合併導致的粘包
 2 
 3 import socket
 4 
 5 server = socket.socket()
 6 ip_port = ('127.0.0.1',8081)
 7 server.bind(ip_port)
 8 server.listen()
 9 conn,addr = server.accept()
10 
11 from_client_msg1 = conn.recv(1024).decode('utf-8')
12 from_client_msg2 = conn.recv(1024).decode('utf-8')
13 
14 print(from_client_msg1)
15 print(from_client_msg2)
16 # heheheenenen  兩條消息被優化合併在了一塊
17 
18 conn.close()
19 server.close()
View 小數據粘包_server Code 
 1 import socket
 2 
 3 client = socket.socket()
 4 ip_port = ('127.0.0.1',8081)
 5 client.connect(ip_port)
 6 
 7 To_server_msg1 = client.send(b'hehehe')
 8 To_server_msg2 = client.send(b'enenen')
 9 
10 client.close()
View 小數據粘包_client Code

 

　　2.情況二 接收方的緩存機制

　　接收方不及時接收緩衝區的包，造成多個包接收（客戶端發送了一段數據，服務端只收了一小部分，服務端下次再收的時候還是從緩衝區拿上次遺留的數據，產生粘包）

 1 # 傳輸數據超出接收範圍導致的粘包
 2 import socket
 3 import subprocess
 4 
 5 server = socket.socket()
 6 ip_port = ('127.0.0.1',8001)
 7 server.bind(ip_port)
 8 server.listen()
 9 conn,addr = server.accept()
10 
11 while 1:
12     from_client_cmd = conn.recv(1024).decode('utf-8')
13 
14     sub_obj = subprocess.Popen(
15         from_client_cmd,
16         shell=True,
17         stdout=subprocess.PIPE,
18         stderr=subprocess.PIPE,
19     )
20     cmd_res = sub_obj.stdout.read()
21     print('結果長度>>>', len(cmd_res))
22     conn.send(cmd_res)  # 發內容給客戶端
數據大粘包_server 
 1 import socket
 2 
 3 client = socket.socket()
 4 ip_port = ('127.0.0.1',8001)
 5 client.connect(ip_port)
 6 
 7 
 8 while 1:
 9     client_cmd = input('請輸入系統指令>>>')
10     client.send(client_cmd.encode('utf-8'))
11 
12     from_server_msg = client.recv(1024)  # 接收返回的消息
13 
14     print(from_server_msg.decode('gbk'))
15     # 可以看到沒一次性接收完畢，執行下條命令出現了上次的結果，這就是數據大超出接收範圍的粘包。
數據大粘包_client

 

　　3.總結

　　黏包現象只發生在tcp協議中：

　　1.從錶面上看，黏包問題主要是因為發送方和接收方的緩存機制、tcp協議面向流通信的特點。

　　2.實際上，主要還是因為接收方不知道消息間的界限，不知道一次性提取多少位元組的數據所造成。

 

 

3.粘包解決方案

 

　　1.解決方案一：
　　問題的根源在於，接收端不知道發送端將要傳送的位元組流的長度，所以解決粘包的方法就是圍繞，如何讓發送端在發送數據前，把自己將要發送的位元組流總大小讓接收端知曉，然後接收端來一個死迴圈接收完所有數據。

 1 import socket
 2 import subprocess
 3 
 4 server = socket.socket()
 5 ip_port = ('127.0.0.1',8001)
 6 server.bind(ip_port)
 7 server.listen()
 8 conn,addr = server.accept()
 9 
10 while 1:
11     from_client_cmd = conn.recv(1024).decode('utf-8')  # 接收傳來的命令
12     sub_obj = subprocess.Popen(
13         from_client_cmd,
14         shell=True,
15         stdout=subprocess.PIPE,
16         stderr=subprocess.PIPE,
17     )
18     # subprocess對象.read 得到命令結果，是bytes類型的
19     str_byt = sub_obj.stdout.read()
20     str_len = len(str_byt)
21     print(str_len)
22     conn.send(str(str_len).encode('utf-8'))  # 先髮長度
23 
24     from_client_msg = conn.recv(1024).decode('utf-8')
25     if from_client_msg == 'ok':
26         conn.send(str_byt)  # 客戶端確認收到長度後 再發送真實內容
27     else:
28         print("客戶端未收到長度！")
29         break
30 
31 conn.close()
32 server.close()
解決小包粘包_服務端 
 1 import socket
 2 
 3 client = socket.socket()
 4 ip_port = ('127.0.0.1',8001)
 5 client.connect(ip_port)
 6 
 7 
 8 while 1:
 9     client_cmd = input('請輸入系統指令>>>')
10     client.send(client_cmd.encode('utf-8'))
11 
12     from_server_len = client.recv(1024).decode('utf-8')  # 接收返回的長度
13     print(from_server_len)
14     client.send(b'ok')
15 
16     from_server_msg = client.recv(int(from_server_len))  # 註意還原成int
17     print(from_server_msg.decode('gbk'))
解決小包粘包_客戶端

　　不足之處：程式的運行速度遠快於網路傳輸速度，所以在發送一段位元組前，先用send去發送該位元組流長度，這種方式會放大網路延遲帶來的性能損耗

 

　　2.解決方案進階：
　　可藉助struct模塊，這個模塊可把要發的數據長度轉成固定長度位元組。這樣客戶端每次接收消息前只要先收到這個固定長度位元組的內容，收到接下來要接收的信息大小，那麼最終接受的數據只要達到這個值就停止，就能完整接收的數據了。

　　struct模塊：該模塊可以把一個類型，如數字，轉成固定長度的bytes

1 import struct
2 
3 res = struct.pack('i',1111111)  # i 模式  1111111 要轉換的內容
4 print(res)  # b'G\xf4\x10\x00'

　　模式，見下圖：

 

 1 import socket
 2 import struct
 3 import subprocess
 4 
 5 server = socket.socket()
 6 ip_port = ('127.0.0.1',8001)
 7 server.bind(ip_port)
 8 server.listen()
 9 conn,addr = server.accept()
10 
11 while 1:
12     from_client_cmd = conn.recv(1024).decode("utf-8") # 註意轉碼
13     # print(from_client_cmd)
14     sub_obj = subprocess.Popen(
15         from_client_cmd,
16         shell=True,
17         stdout=subprocess.PIPE,
18         stderr=subprocess.PIPE,
19     )
20     cmd_res = sub_obj.stdout.read()  # 得到bytes類型所有內容
21     str_len = len(cmd_res)
22     print(str_len)
23 
24     str_len1 = struct.pack('i',str_len)  # 把長度打包成4位元組的bytes
25 
26     conn.send(str_len1 + cmd_res)  # 拼接位元組 把長度和內容打包發給客戶端
struct方案解決粘包_server 
 1 import socket, struct
 2 
 3 client = socket.socket()
 4 ip_port = ('127.0.0.1',8001)
 5 client.connect(ip_port)
 6 
 7 while 1:
 8     str_cmd = input('請輸入命令>>> ').encode('utf-8')
 9     client.send(str_cmd)
10     # 先接收4個位元組，4個位元組是數據的真實長度轉換而成的
11     str_len = client.recv(4)
12     # print(str_len)
13     num = struct.unpack('i',str_len)[0]  # 註意解出來是一個元組 用下標把真實長度取出來
14 
15     print(num)
16 
17     str_res = client.recv(num)
18     print(str_res.decode('gbk'))
struct方案解決粘包_client

 

補充：獲取緩衝區大小

1 # 獲取socket緩衝區大小
2 import socket
3 from socket import SOL_SOCKET,SO_REUSEADDR,SO_SNDBUF,SO_RCVBUF
4 sk = socket.socket(type=socket.SOCK_DGRAM)
5 # sk.setsockopt(SOL_SOCKET,SO_RCVBUF,80*1024)
6 sk.bind(('127.0.0.1',8090))
7 print('>>>>', (sk.getsockopt(SOL_SOCKET, SO_SNDBUF))/1024)
8 print('>>>>', sk.getsockopt(SOL_SOCKET, SO_RCVBUF))

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • css邊框漸變
    在實際開發中，我們經常遇見邊框需要背景漸變的實現要求，那麼如何去實現呢，今天給大家分享依稀幾種情況 1.直角的背景漸變 註意問題：border-image的使用是不能實現圓角的效果，各位需要註意這個屬性 2.圓角的背景漸變 代碼如下：利用偽類元素去實現背景邊的漸變效果，同時我們還可以加上動畫效果，利 ...
  • 一道面試題引起的思考
    今天在認真乾（劃）活（水）的時候，看到群里有人發了一道頭條的面試題，就順便看了一下，發現挺有意思的，就決定分享給大家，並且給出我的解決方案和思考過程。 題目如下： 實現一個get函數，使得下麵的調用可以輸出正確的結果 乍眼一看，這不就是實現一個lodash.get方法嗎？看上去好像很簡單。所以我就開 ...
  • npm私有倉庫 配置verdaccio在docker環境
    前端開發過程中，少不了自己封裝一些通用的包，但又不想放在公共的平臺，所以搭建一個npm私有的倉庫是很有必要的。 在這裡簡單介紹如何使用 verdoccio 在docker環境下的配置。verdoccio,輕量級私有npm代理註冊表。加上docker，那就真的無敵方便了，搭建一個私有倉庫輕輕鬆松幾分鐘 ...
  • 每天一個設計模式·策略模式
    "策略模式原文地址" "更多《設計模式系列教程》" "更多免費教程" 0. 項目地址 作者按：《每天一個設計模式》旨在初步領會設計模式的精髓，目前採用 （ 靠這吃飯 ）和 （ 純粹喜歡 ）兩種語言實現。誠然，每種設計模式都有多種實現方式，但此小冊只記錄最直截了當的實現方式 :) "本節課代碼" "《 ...
  • 微服務統一登陸認證怎麼做？JWT ？
    無狀態登錄原理 1.1.什麼是有狀態？ 有狀態服務，即服務端需要記錄每次會話的客戶端信息，從而識別客戶端身份，根據用戶身份進行請求的處理，典型的設計如tomcat中的session。 例如登錄：用戶登錄後，我們把登錄者的信息保存在服務端session中，並且給用戶一個cookie值，記錄對應的ses ...
  • Python3基礎-函數實例學習
    內置函數 絕對值函數 x=100的絕對值為：100 y= 20的絕對值為：20 求最大值、最小值、求和函數 (1, 2, 3, 4)中最大max的元素為：4 (1, 2, 3, 4)中最小min的元素為：1 (1, 2, 3, 4)中最元素累加和sum為：10 模塊中的函數 char_set長度36 ...
  • Python學習之旅（十二）
    Python基礎知識（11）：高級特性 一、分片（切片） 通過索引來獲取一定範圍內的元素 二、迭代 給定一個元組或列表，通過for迴圈遍歷，這種遍歷稱為迭代 結果： Alice 通過collections模塊的Iterator判斷一個對象是否是可迭代對象 enumerate函數可以把一個list變成 ...
  • static筆記
    [TOC] 1. static概括 當在定義類的時候，類中都會有相應的屬性和方法。而屬性和方法都是通過創建本類對象調用的。當在調用對象的某個方法時，這個方法沒有訪問到對象的特有數據時， 方法創建這個對象有些多餘 ，我們可以通過static關鍵字來實現。static它是靜態修飾符，一般用來修飾類中的成 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類