python 之網路編程(基於TCP協議Socket通信的粘包問題及解決)

来源:https://www.cnblogs.com/mylu/archive/2019/07/15/11191862.html
-Advertisement-
Play Games

8.4 粘包問題 粘包問題發生的原因: 1.發送端需要等緩衝區滿才發送出去,造成粘包(發送數據時間間隔很短,數據了很小,會合到一起,產生粘包),這樣接收端,就難於分辨出來了,必須提供科學的拆包機制。 即面向流的通信是無消息保護邊界的。 2.接收方不及時接收緩衝區的包,造成多個包接收(客戶端發送了一段 ...


8.4 粘包問題

粘包問題發生的原因:

1.發送端需要等緩衝區滿才發送出去,造成粘包(發送數據時間間隔很短,數據了很小,會合到一起,產生粘包),這樣接收端,就難於分辨出來了,必須提供科學的拆包機制。 即面向流的通信是無消息保護邊界的

2.接收方不及時接收緩衝區的包,造成多個包接收(客戶端發送了一段數據,服務端只收了一小部分,服務端下次再收的時候還是從緩衝區拿上次遺留的數據,產生粘包)

粘包問題主要還是因為接收方不知道消息之間的界限,不知道一次性提取多少位元組的數據所造成的。

8.41 stract模塊

1、把整型數字轉成bytes類型 2、轉成的bytes是固定長度的

import struct
​
res=struct.pack('i',20332)    # i:整型 
print(res,len(res))          # b'lO\x00\x00'   4
​
res2=struct.unpack('i',res)
print(res2[0])              # 20332

8.42 利用stract模塊解決粘包

為位元組流加上自定義固定長度報頭,報頭中包含位元組流長度,然後一次send到對端,對端在接收時,先從緩存中取出定長的報頭(報頭中含有真實數據長度),然後再取真實數據

服務端:

from socket import *
import subprocess
import struct
........
while True:
    conn,client_addr=server.accept() #(連接對象,客戶端的ip和埠)
    print(client_addr)
    while True:
        try:
            cmd=conn.recv(1024)
            obj=subprocess.Popen(cmd.decode('utf-8'),# dir
                                 shell=True,
                                 stdout=subprocess.PIPE,
                                 stderr=subprocess.PIPE
                                 )
            stdout=obj.stdout.read()
            stderr=obj.stderr.read()
​
            total_size=len(stdout) + len(stderr)# 1、製作固定長度的報頭 # 430
            header=struct.pack('i',total_size) 
​
            conn.send(header)                  # 2、發送報頭
​
            conn.send(stdout)                  #3、發送真實的數據
            conn.send(stderr)                  #subprocess返回byte類型,但需要gbk解碼
        except ConnectionResetError:
            break
​
    conn.close()
server.close()

客戶端:

from socket import *
import struct
..........
while True:
    cmd=input('>>>: ').strip()
    if not cmd:continue
    client.send(cmd.encode('utf-8'))          # dir
​
    header=client.recv(4)                    #1、先收固定長度的報頭
​
    total_size=struct.unpack('i',header)[0]    #2、解析報頭
    print(total_size)                        # 430
   
    recv_size=0                             #3、根據報頭內的信息,收取真實的數據
    res=b''
    while recv_size < total_size:
        recv_data=client.recv(1024)
        res+=recv_data
        recv_size+=len(recv_data)
    print(res.decode('gbk'))
client.close()

8.43 自定義報頭

我們可以把報頭做成字典,字典里包含將要發送的真實數據的詳細信息,字典然後json序列化,編碼成byte類型,然後用struck將數據長度打包成4個位元組(4個自己足夠用了)

發送時:

先發報頭長度,再編碼報頭內容然後發送,最後發真實內容

接收時:先收報頭長度,用struct取出來,根據取出的長度收取報頭內容,然後解碼,反序列化,從反序列化的結果中取出待取數據的詳細信息,然後去取真實的數據內容

服務端:

from socket import *
import subprocess
import struct
import json
...........
while True:
    conn,client_addr=server.accept() #(連接對象,客戶端的ip和埠)
    print(client_addr)
    while True:
        try:
            cmd=conn.recv(1024)
            obj=subprocess.Popen(cmd.decode('utf-8'),
                                 shell=True,
                                 stdout=subprocess.PIPE,
                                 stderr=subprocess.PIPE
                                 )
            stdout=obj.stdout.read()
            stderr=obj.stderr.read()
​
            header_dic={                            # 1、製作報頭
                'total_size':len(stdout) + len(stderr),
                'md5':'123svsaef123sdfasdf',
                'filename':'a.txt'
            }
            header_json = json.dumps(header_dic)
            header_bytes = header_json.encode('utf-8')
​
            header_size=len(header_bytes)             # 2、先發送報頭的長度
            conn.send(struct.pack('i',header_size))
​
            conn.send(header_bytes)                  # 3、發送報頭
​
            conn.send(stdout)                        # 4、發送真實的數據
            conn.send(stderr)
        except ConnectionResetError:
            break
    conn.close()
server.close()

客戶端:

from socket import *
import struct
import json
.........
while True:
    cmd=input('>>>: ').strip()
    if not cmd:continue
    client.send(cmd.encode('utf-8'))
    
    header_size=struct.unpack('i',client.recv(4))[0]     #1、先收報頭的長度
    header_bytes=client.recv(header_size)               #2、接收報頭
​
    header_json=header_bytes.decode('utf-8')            #3、解析報頭
    header_dic=json.loads(header_json)
    print(header_dic)
​
    total_size=header_dic[ 'total_size']                #4、根據報頭內的信息,收取真實的數據
    # print(total_size)     #1025
    
    recv_size=0
    res=b''
    while recv_size < total_size:
         recv_data=client.recv(1024)
         res+=recv_data
         recv_size+=len(recv_data)
​
    print(res.decode('gbk'))
client.close()

客戶端實現等待後重連:

import socket
import time
​
while True:
    try:
        client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
​
        client.connect(('127.0.0.1',8080))
        break
    except ConnectionRefusedError:
        time.sleep(3)
        print('等待3秒。。。')

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • C++編譯過程 C++ 編譯過程在介紹編譯器之前,先簡單地說一下 C++ 的編譯過程,以便理解編譯器的工作。編譯(compiling)並不意味著只創建僅僅一個可執行文件。創建一個可執行文件是一個多級過程,其中最重要的過程是預處理(preprocessing),編譯(compliation)和鏈接(l ...
  • 一、基本簡介 1、基礎概念 在矩陣中,若數值為0的元素數目遠遠多於非0元素的數目,並且非0元素分佈沒有規律時,則稱該矩陣為稀疏矩陣;與之相反,若非0元素數目占大多數時,則稱該矩陣為稠密矩陣。定義非零元素的總數比上矩陣所有元素的總數為矩陣的稠密度。 2、處理方式 3、圖解描述 4、五子棋場景 二、代碼 ...
  • 1.str.capitalize() 將原字元串內的首字母轉成大寫,其他部分小寫,再返回新字元串 Output: 2.str.upper() 將原字元串的字母轉為大寫 Output: 3.str.lower() 將原字元串的字母轉為小寫 Output: 4.str.swapcase() 將原字元串內 ...
  • [TOC] 上篇已經對IoC容器的設計進行了分析( "Spring源碼閱讀 IoC容器解析" ),本篇將對 經典的繼承層次圖進行詳細的分析,在心中形成一個大致的印象,以便後面一步步調試源碼的時候,不會太眼花繚亂。讓我們一步步的前進吧... 繼承層次圖概覽 使用IDEA的繼承層次工具生成如下的圖(選中 ...
  • ![](http://ww2.sinaimg.cn/large/006tNc79gy1g4r7dbwihmj30jg0a83yy.jpg) ## 前言 在日常的開發模式里,前端負責頁面和動態腳本的處理,服務端負責業務邏輯和介面的實現。當前端需要服務端提供的介面實現動態數據展示和交互時,服務端完成介面 ...
  • 1.儘量在合適的場合使用單例 使用單例可以減輕載入的負擔,縮短載入的時間,提高載入的效率,但並不是所有地方都適用於單例,簡單來說,單例主要適用於以下三個方面: 控制資源的使用,通過線程同步來控制資源的併發訪問; 控制實例的產生,以達到節約資源的目的; 控制數據共用,在不建立直接關聯的條件下,讓多個不 ...
  • 前面介紹瞭如何使用畫筆在控制項上展示圖像,可是圖像來源於磁碟圖片,無法即興繪製個性化的圖案。所幸畫筆工具Graphics不僅能夠描繪圖像,還支持繪製常見的幾何形狀,也支持繪製文本字元串,除了繪製圖像用到的drawImage方法,Graphics還有下列常見的繪圖方法:setColor:設置畫筆的顏色。 ...
  • 數組元素查找(查找指定元素第一次在數組中出現的索引): 結果: ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...