在用 Flask 寫一個項目,後臺管理用的插件暫時是 flask-admin。想實現的效果:在後臺管理頁面中,把提交到後端的圖片不保存在 static 文件夾下麵,而是通過後端代碼把這個文件對象上傳到 AWS 的 S3中存儲。 通過flask-admin 上傳到後端的文件對象的類型是: ```pyt ...
在用 Flask 寫一個項目,後臺管理用的插件暫時是 flask-admin。想實現的效果:在後臺管理頁面中,把提交到後端的圖片不保存在 static 文件夾下麵,而是通過後端代碼把這個文件對象上傳到 AWS 的 S3中存儲。
通過flask-admin 上傳到後端的文件對象的類型是:
FileStorage # werkzeug.datastructures.FileStorage
# flask 中的 request.files 獲取到的類型也是 FileStorage
所以先從提交到後端的 form 表單中獲取到該文件對象,例如為: img_obj。 現在剛需要把類型為 FileStorage 的 img_obj 轉化為 file-like object (AWS S3 boto3 中的 upload_fileobj 介面需要這樣的參數)。轉化的過程用到了 shutil 的copyfileobj 和 BytesIO, 如下:
from shutil import copyfileobj
temp_file = BytesIO()
copyfileobj(img_obj.stream, temp_file) # img_obj.stream 應該是能獲取到對象中的數據流; 然後把 imb_obj 中的數據流copy到 temp_file 中
然後,問題來了。 利用下麵的 S3 upload_fileobj介面把文件上傳到 S3後,對應的文件一直都是 0 比特。
代碼如下:
from shutil import copyfileobj
temp_file = BytesIO()
copyfileobj(img_obj.stream, temp_file)
client.upload_fileobj(temp_file, "bucket-name", Key="static/%s" % img_obj.filename) # 利用這個介面把文件上傳到伺服器後一直都是0比特
查詢資料發現原因。
我們先來看下 shutil.copyfileobj 的源碼:
'''
學習中遇到問題沒人解答?
小編創建了一個Python學習交流群:711312441
'''
def copyfileobj(fsrc, fdst, length=16*1024):
"""copy data from file-like object fsrc to file-like object fdst"""
while 1:
buf = fsrc.read(length)
if not buf:
break
fdst.write(buf)
"""
從上述代碼的最後一行看,fdst.write(buf) ,此時寫“文件”的游標已經到“文件”的最後
"""
我們再來看下麵有關 BytesIO 的的一些用法:
In [1]: from io import BytesIO
In [2]: f = BytesIO()
In [3]: f.write(b'abc') # 把byte 寫入到 f 中,此時 游標已經到f的最後位置
Out[3]: 3
In [4]: f.read() # 由於此時游標是從f 的 最後的位置開始 read,那麼後面的內容肯定是空
Out[4]: b''
In [5]: f.tell()
Out[5]: 3 # 說明游標是在f最後的位置
In [6]: f.seek(0) # 利用 seek(0) 把游標的位置放到f的 0 位置處
Out[6]: 0
In [7]: f.read() # 此時再 read 就能看到全部內容
Out[7]: b'abc'
"""
getvalue() 是獲取全部內容;
read() 是從游標的當前位置往後讀
"""
所以上面問題的原因也是:
copyfileobj 中的 fdst.write(buf) 寫完後,此時游標在“文件”最後一個位置;而由於 S3 的 upload_fileobj 介面中的第一個參數是file-like object, 而且upload_fileobj會調用 這個 file-like object 的 read() 方法,read 出來的內容會上傳到 S3 上。 所以,解決辦法就是利用 seek(0) 把游標位置再次放到 0 處
正確代碼如下:
from shutil import copyfileobj
temp_file = BytesIO()
copyfileobj(img_obj.stream, temp_file)
temp_file.seek(0) # 讓游標回到0處
client.upload_fileobj(temp_file, "bucket-name", Key="static/%s" % img_obj.filename)
或者直接把利用 FileStorage 的 stream 屬性把文件上傳到 S3,代碼如下:
client.upload_fileobj(img_obj.stream, "bucket-name", Key="static/%s" % img_obj.filename)