如題,很簡單,就是先用chardet 庫識別文件編碼,解碼之後再輸出成目標編碼。算是個偶爾能用上的小工具,要用的時候萬一沒有就很難受的那種,比如,網上下載了別人的項目文件,一打開全是亂碼…… 代碼 加了比較詳細的註釋~~ 看懂的要求應該不高,平時用過Python,知道幾個常用庫就行。 from pa ...
如題,很簡單,就是先用chardet 庫識別文件編碼,解碼之後再輸出成目標編碼。算是個偶爾能用上的小工具,要用的時候萬一沒有就很難受的那種,比如,網上下載了別人的項目文件,一打開全是亂碼……
代碼
加了比較詳細的註釋~~ 看懂的要求應該不高,平時用過Python,知道幾個常用庫就行。
from pathlib import Path import chardet import re def text_file_encoding_convert(f: Path, target_encoding: str, *, dry_run=False) -> (bool, str, float): ''' 轉換單個文件到目標編碼 @param f 文件路徑 @param target_encoding 目標編碼,比如urf-8 @param dry_run 為True 時不實際修改源文件 @return 返回三個值分別為(是否成功,估計的源文件編碼,估計的把握) ''' target_encoding = target_encoding.lower() # python 的標準編碼名稱都是小寫 raw = f.read_bytes() result = chardet.detect(raw) encoding = result["encoding"].lower() # chardet 估計出來的編碼名稱 confidence = result["confidence"] # 估計的把握 flag = True # 下麵的單次for 迴圈用來避免重覆寫return 語句,break 後統一跳到最後return
# Python學習交流裙 872937351
for _d( ̄_ ̄)b_ in (1,): if encoding == target_encoding or encoding == "ascii" and target_encoding == "utf-8": # 目標編碼和源編碼相同時不用做處理。utf-8 編碼和ASCII 相容,原編碼為ASCII 時轉換到utf-8 不會有變化,所以也跳過 print(f"-> [NO CONVERSION NEEDED] {f.name}: {encoding} ==> [ {target_encoding} ]") break try: text = raw.decode(encoding) except: print(f"!> Encoding err: {f.name}, detected: {encoding}, {confidence}.") flag = False break if dry_run: print(f"-> [ NO WET ] {f.name}: {encoding} ==> [ {target_encoding} ]") else: # 必須先用目標編碼轉換成位元組數組,然後按位元組寫入源文件 # 如果按文本方式寫入,就會遇到喜聞樂見的CR LF 換行問題, # 源文件中的CR LF 換行會被自動變成CR CR LF,也就是多了一堆空行。 out = text.encode(target_encoding) f.write_bytes(out) print(f"-> {f.name}: {encoding} ==> [ {target_encoding} ]") return (flag, encoding, confidence) def text_file_encoding_batch_convert( folder: Path, target_encoding: str, *, dry_run=True, recursive=False, pattern=".*(c|h|txt|cxx|cpp|hpp|hxx|csv|asm)$", skip_when_error=True, ): ''' 批量轉換一個目錄下文本文件的編碼 Python學習交流群 872937351 @param folder 目標目錄 @param target_encoding 目標編碼 @param dry_run 不實際修改源文件,避免手滑寫錯 @param recursive 包括所有子文件夾下的文件 @param pattern 基於文件名篩選文本文件的正則表達式,預設根據尾碼篩選幾種文本類型 @param skip_when_error 預設True,單個文件轉換出錯時提示並跳過,否則終止 ''' if recursive: flist = folder.rglob("*") else: flist = folder.glob("*") p = re.compile(pattern) # 把正則編譯了,之後應該能快一點 for f in flist: if not (f.is_file() and p.match(f.name)): continue ok, encoding, confidence = text_file_encoding_convert(f, target_encoding, dry_run=dry_run) if not ok: if skip_when_error: print("!> SKIP.") else: print("!> ABORT.") return
用法
既然是批量轉換文件,只調用第二個函數就好了,如下:
folder = Path(r"D:\Downloads\Some shit\\") text_file_encoding_batch_convert(folder, "utf-8", recursive=True)
目標目錄為D:\Downloads\Some shit\,放進一個Path 對象里,作為第一個參數傳進去。第二個參數是目標編碼,第三個參數必須寫明參數名稱recursive,用來指定要不要遍歷子文件夾,預設是False,為了避免意外情況。直接這麼運行的話,輸出的信息應該類似這樣:
-> [NO WET] main.c : gb2312 ⇒ utf-8
[NO WET] 意思就是DRY [doge],也就是沒有實際修改源文件,只是讓你大致看看輸出信息對不對勁,實際運行的話再加一個參數:
text_file_encoding_batch_convert(folder, "utf-8", recursive=True, dry_run=False)
順便一說,輸出信息都是英文的,因為大伙應該都遇到過控制台輸出中文亂碼的問題,反正也沒幾個單詞。剩下兩個參數,skip_when_error 放著別管就行,沒什麼用;pattern 是匹配文件名的正則表達式,只有匹配的文件會被處理,可以自己設置;預設的正則只匹配了幾種容易遇到亂碼問題的文本文件,匹配的太多了也可能錯殺,需要的話往括弧裡加就行。
對了,上面的代碼和這篇文章一樣,使用 CC - BY SA 4.0 協議。