python: BytesIO 中 read 用法

来源:https://www.cnblogs.com/python1111/archive/2023/06/28/17512738.html
-Advertisement-
Play Games

在用 Flask 寫一個項目,後臺管理用的插件暫時是 flask-admin。想實現的效果:在後臺管理頁面中,把提交到後端的圖片不保存在 static 文件夾下麵,而是通過後端代碼把這個文件對象上傳到 AWS 的 S3中存儲。 通過flask-admin 上傳到後端的文件對象的類型是: ```pyt ...


在用 Flask 寫一個項目,後臺管理用的插件暫時是 flask-admin。想實現的效果:在後臺管理頁面中,把提交到後端的圖片不保存在 static 文件夾下麵,而是通過後端代碼把這個文件對象上傳到 AWS 的 S3中存儲。

通過flask-admin 上傳到後端的文件對象的類型是:

FileStorage    # werkzeug.datastructures.FileStorage

# flask 中的 request.files 獲取到的類型也是 FileStorage

所以先從提交到後端的 form 表單中獲取到該文件對象,例如為: img_obj。 現在剛需要把類型為 FileStorage 的 img_obj 轉化為 file-like object (AWS S3 boto3 中的 upload_fileobj 介面需要這樣的參數)。轉化的過程用到了 shutil 的copyfileobj 和 BytesIO, 如下:

from shutil import copyfileobj

temp_file = BytesIO()

copyfileobj(img_obj.stream, temp_file)    # img_obj.stream 應該是能獲取到對象中的數據流; 然後把 imb_obj 中的數據流copy到 temp_file 中

然後,問題來了。 利用下麵的 S3 upload_fileobj介面把文件上傳到 S3後,對應的文件一直都是 0 比特。

代碼如下:

from shutil import copyfileobj

temp_file = BytesIO()

copyfileobj(img_obj.stream, temp_file)

client.upload_fileobj(temp_file, "bucket-name", Key="static/%s" % img_obj.filename)        # 利用這個介面把文件上傳到伺服器後一直都是0比特

查詢資料發現原因。

我們先來看下 shutil.copyfileobj 的源碼:

'''
學習中遇到問題沒人解答?
小編創建了一個Python學習交流群:711312441
'''
def copyfileobj(fsrc, fdst, length=16*1024):
    """copy data from file-like object fsrc to file-like object fdst"""
    while 1:
        buf = fsrc.read(length)
        if not buf:
            break
        fdst.write(buf)

"""
從上述代碼的最後一行看,fdst.write(buf) ,此時寫“文件”的游標已經到“文件”的最後
"""

我們再來看下麵有關 BytesIO 的的一些用法:

In [1]: from io import BytesIO                                                                                                                                

In [2]: f = BytesIO()                                                                                                                                         

In [3]: f.write(b'abc')         # 把byte 寫入到 f 中,此時 游標已經到f的最後位置                                                                                                                             
Out[3]: 3

In [4]: f.read()     # 由於此時游標是從f 的 最後的位置開始 read,那麼後面的內容肯定是空                                                                                                                                        
Out[4]: b''

In [5]: f.tell()                                                                                                                                           
Out[5]: 3             # 說明游標是在f最後的位置 

In [6]: f.seek(0)        # 利用 seek(0) 把游標的位置放到f的 0 位置處                                                                                                                                
Out[6]: 0

In [7]: f.read()      # 此時再 read 就能看到全部內容                                                                                                                                        
Out[7]: b'abc'
 
"""
getvalue() 是獲取全部內容;
read() 是從游標的當前位置往後讀
"""

所以上面問題的原因也是:

copyfileobj 中的 fdst.write(buf) 寫完後,此時游標在“文件”最後一個位置;而由於 S3 的 upload_fileobj 介面中的第一個參數是file-like object, 而且upload_fileobj會調用 這個 file-like object 的 read() 方法,read 出來的內容會上傳到 S3 上。 所以,解決辦法就是利用 seek(0) 把游標位置再次放到 0 處

正確代碼如下:

from shutil import copyfileobj

temp_file = BytesIO()

copyfileobj(img_obj.stream, temp_file)

temp_file.seek(0)    # 讓游標回到0處

client.upload_fileobj(temp_file, "bucket-name", Key="static/%s" % img_obj.filename)       

或者直接把利用 FileStorage 的 stream 屬性把文件上傳到 S3,代碼如下:

client.upload_fileobj(img_obj.stream, "bucket-name", Key="static/%s" % img_obj.filename)     

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • ![](https://img2023.cnblogs.com/blog/3076680/202306/3076680-20230627103223140-2108494309.png) # 1. 快速失敗而非緩慢響應 ## 1.1. 如果響應緩慢比沒有響應更糟,那麼最壞的情況肯定是緩慢的失敗響應 ...
  • 摘要:在本篇文章中,我們將深入探討Spring框架中的重要組件——BeanPostProcessor。首先,我們將瞭解其設計理念和目標,然後通過實際的例子學習如何基礎使用它,如何通過BeanPostProcessor改變Bean的初始化結果以及如何利用它修改Bean的屬性。 本文分享自華為雲社區《S ...
  • [回到目錄](https://www.cnblogs.com/lori/p/3896484.html) # 概述 委派模式(Delegate Pattern)又叫作委托模式,是一種面向對象的設計模式,允許對象組合實現與繼承相同的代碼重用。它的基本作用就是負責任務的調用和分配,是一種特殊的靜態代理模式 ...
  • [回到目錄](https://www.cnblogs.com/lori/p/3896484.html) # 責任鏈模式 它是一種設計模塊,主要將操作流程與具體操作解耦,讓每個操作都可以設置自己的操作流程,這對於工作流應用是一個不錯的選擇! 下麵是官方標準的定義:責任鏈模式是一種設計模式。在責任鏈模式 ...
  • 在筆者上一篇文章`《驅動開發:內核取應用層模塊基地址》`中簡單為大家介紹瞭如何通過遍歷`PLIST_ENTRY32`鏈表的方式獲取到`32位`應用程式中特定模塊的基地址,由於是入門系列所以並沒有封裝實現太過於通用的獲取函數,本章將繼續延申這個話題,並依次實現通用版`GetUserModuleBase... ...
  • 水滿則溢,月盈則虧,任何事物都不可能無限制的發展,我們的系統服務能力也一樣。 當隨著流量的不斷增長,達到或超過服務本身的可承載範圍,系統服務的自我保護機制的建立就顯得很重要了。 本文希望可以用最通俗的解釋和貼切的實例來帶大家瞭解什麼是限流、降級和熔斷。 ...
  • ## 前言 函數是C語言中的基本構建塊之一,它允許我們將代碼組織成可重用、模塊化的單元。 本文將逐步介紹C語言函數的基礎概念、參數傳遞、返回值、遞歸以及內聯函數和匿名函數。 ## 一、人物簡介 - 第一位閃亮登場,有請今後會一直教我們C語言的老師 —— 自在。 ![](https://img2023 ...
  • 某日二師兄參加XXX科技公司的C++工程師開發崗位第27面: > 面試官:知道`std::unordered_set/std::unordered_map`嗎? > > 二師兄:知道。兩者都是C++11引入的新容器,和`std::set`和`std::map`功能類似,`key`唯一,`unorde ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...