前言我們在日常工作中,除了會涉及到使用Python處理文本文件,有時候還會涉及對壓縮文件的處理。 通常會涉及到的壓縮文件格式有: •rar:Windows 環境下用的比較多的壓縮,比較著名的GUI工具是winrar •tar: Linux系統下的打包工具,只打包,不壓縮 •gz:即gzip,通常只能 ...
前言
我們在日常工作中,除了會涉及到使用Python處理文本文件,有時候還會涉及對壓縮文件的處理。
通常會涉及到的壓縮文件格式有:
•rar:Windows 環境下用的比較多的壓縮,比較著名的GUI工具是winrar
•tar: Linux系統下的打包工具,只打包,不壓縮
•gz:即gzip,通常只能壓縮一個文件。與tar結合起來就可以實現先打包,再壓縮。
•tgz:即gz。先用tar打包,然後再用gz壓縮得到的文件
•zip:不同於gzip,雖然使用相似的演算法,可以打包壓縮多個文件,不過分別壓縮文件,壓縮率低於tar
•7z:7zip壓縮軟體支持的格式,壓縮效率較高。
當然除了使用Python外,你還可以選擇使用壓縮解壓縮軟體或命令手動進行處理。
zip文件
zipfile是Python里用來做zip格式編碼的壓縮和解壓縮的module,zipfile里有兩個非常重要的class:ZipFile和ZipInfo。ZipFile是主要的類,用來創建和讀取zip文件,而ZipInfo是存儲的zip文件的每個文件的信息。
示例代碼:
Python學習交流Q群:906715085### import os import zipfile #壓縮def make_zip(source_dir, output_filename): zipf = zipfile.ZipFile(output_filename, 'w') pre_len = len(os.path.dirname (source_dir)) for parent, dirnames, filenames in os.walk(source_dir): for filename in filenames: print(filename) pathfile = os.path.join(parent, filename) arcname = pathfile[pre_len:].strip(os.path.sep) # 相對路徑 zipf.write(pathfile, arcname) print() zipf.close() #解壓縮 def un_zip(file_name): """unzip zip file""" zip_file = zipfile.ZipFile(file_name) if os.path.isdir(file_name + "_files"): pass else: os.mkdir(file_name + "_files") for names in zip_file.namelist(): zip_file.extract(names, file_name + "_files/") zip_file.close() if __name__ == '__main__': make_zip (r"E:python_samplelibstest_tar_fileslibs", "test.zip") un_zip("test.zip")
tar.gz文件
tarfile 模塊可以用來讀寫 tar 歸檔,包括使用 gzip, bz2 和 lzma 壓縮的歸檔。在使用tarfile是必須瞭解模式:
mode 必須是 ‘filemode[:compression]’ 形式的字元串,其預設值為 ‘r’。以下是模式組合的完整列表:
模式
動作
‘r’ or ‘r:*’
打開和讀取使用透明壓縮(推薦)。
‘r:’
打開和讀取不使用壓縮。
‘r:gz’
打開和讀取使用gzip 壓縮。
‘r:bz2’
打開和讀取使用bzip2 壓縮。
‘r:xz’
打開和讀取使用lzma 壓縮。
‘x’ 或 ‘x:’
創建tarfile不進行壓縮。如果文件已經存在,則拋出 FileExistsError 異常。
‘x:gz’
使用gzip壓縮創建tarfile。如果文件已經存在,則拋出 FileExistsError 異常。
‘x:bz2’
使用bzip2 壓縮創建tarfile。如果文件已經存在,則拋出 FileExistsError 異常。
‘x:xz’
使用lzma 壓縮創建tarfile。如果文件已經存在,則拋出 FileExistsError 異常。
‘a’ or ‘a:’
打開以便在沒有壓縮的情況下追加。如果文件不存在,則創建該文件。
‘w’ or ‘w:’
打開用於未壓縮的寫入。
‘w:gz’
打開用於 gzip 壓縮的寫入。
‘w:bz2’
打開用於 bzip2 壓縮的寫入。
‘w:xz’
打開用於 lzma 壓縮的寫入。
針對特殊的目的,還存在第二種 mode 格式: ‘filemode|[compression]’。tarfile.open() 將返回一個將其數據作為數據塊流來處理的 TarFile 對象:
模式
動作
‘r|*’
打開 tar 塊的 流 以進行透明壓縮讀取。
‘r|’
打開一個未壓縮的 tar 塊的 stream 用於讀取。
‘r|gz’
打開一個 gzip 壓縮的 stream 用於讀取。
‘r|bz2’
打開一個 bzip2 壓縮的 stream 用於讀取。
‘r|xz’
打開一個 lzma 壓縮 stream 用於讀取。
‘w|’
打開一個未壓縮的 stream 用於寫入。
‘w|gz’
打開一個 gzip 壓縮的 stream 用於寫入。
‘w|bz2’
打開一個 bzip2 壓縮的 stream 用於寫入。
‘w|xz’
打開一個 lzma 壓縮的 stream 用於寫入。
代碼示例:
import os import tarfile import gzip #一次性打包整個根目錄。空子目錄會被打包。 #如果只打包不壓縮,將"w:gz"參數改為"w:"或"w"即可。 def make_targz(output_filename, source_dir): with tarfile.open(output_filename, "w:gz") as tar: tar.add(source_dir, arcname=os.path.basename(source_dir)) #逐個添加文件打包,未打包空子目錄。可過濾文件。 #如果只打包不壓縮,將"w:gz"參數改為"w:"或"w"即可。 def make_targz_one_by_one(output_filename, source_dir): tar = tarfile.open(output_filename, "w:gz") for root, dir, files in os.walk(source_dir): for file in files: pathfile = os.path.join(root, file) tar.add(pathfile) tar.close() def un_gz(file_name): """ungz zip file""" f_name = file_name.replace(".gz", "") # 獲取文件的名稱,去掉 g_file = gzip.GzipFile(file_name) # 創建gzip對象 open(f_name, "wb+").write(g_file.read()) # gzip對象用read()打開後,寫入open()建立的文件里。 g_file.close() # 關閉gzip對象 def un_tar(file_name): # untar zip file tar = tarfile.open(file_name) names = tar.getnames() if os.path.isdir(file_name + "_files"): pass else: os.mkdir(file_name + "_files") # 由於解壓後是許多文件,預先建立同名文件夾 for name in names: tar.extract(name, file_name + "_files/") tar.close() if __name__ == '__main__': make_targz('test.tar.gz', "E:python_samplelibs") make_targz_one_by_one('test01.tgz', "E:python_samplelibs") un_gz("test.tar.gz") un_tar("test.tar")
rar文件
我們可以使用rarfile來解壓.rar的文件,但是不支持用rarfile來壓縮rar文件。rarfile以下unrar組件,但是使用pip install unrar安裝後發現會報如下錯誤:
Couldn’t find path to unrar library…
這是因為 Python下的 unrar 還依賴了RAR官方的庫。
Windows的安裝
•到RARLab官方下載庫文件,https://www.rarlab.com/rar/UnRARDLL.exe,然後安裝。
•安裝是最好選擇預設路徑,一般在 C:Program Files (x86)UnrarDLL 目錄下。
•添加環境變數,在系統變數中新建變數名UNRAR_LIB_PATH,如果是64位系統,就輸入 C:Program Files (x86)UnrarDLLx64UnRAR64.dll,如果是32位系統就是 C:Program Files (x86)UnrarDLLUnRAR.dll。
•確定保存環境變數後,在進行 pip install unrar 安裝,這時代碼再運行就不會報錯了。另外,搜索公眾號Java架構師技術後臺回覆“面試題”,獲取一份驚喜禮包。
Linux的安裝
•下載rar源文件:https://www.rarlab.com/rar/rarlinux-6.0.0.tar.gz
•解壓安裝包,進入安裝包目錄,編譯安裝,生成so 文件
•配置環境變數,完成後,在進行 pip install unrar 安裝
#cd /usr/local/src/# wget https://www.rarlab.com/rar/unrarsrc-6.0.3.tar.gz# tar zxvf unrarsrc-6.0.3.tar.gz# cd unrar# make lib# make install-lib //生成libunrar.so 文件# vim /etc/profileexport UNRAR_LIB_PATH=/usr/lib/libunrar.so# source /etc/profile
代碼示例:
import rarfile def unrar(rar_file, dir_name): # rarfile需要unrar支持, linux下pip install unrar, windows下在winrar文件夾找到unrar,加到path里 rarobj = rarfile.RarFile(rar_file.decode('utf-8')) rarobj.extractall(dir_name.decode('utf-8'))
7z文件
要壓縮和解壓縮.7z文件需要用到py7zr組件。代碼示例:
import py7zr #壓縮with py7zr.SevenZipFile("Archive.7z", 'r') as archive: archive.extractall(path="/tmp") #解壓縮with py7zr.SevenZipFile("Archive.7z", 'w') as archive: archive.writeall("target/")
最後
到這裡就沒有了,喜歡的點贊鴨。下一章見了。