目前多數情況下, 我們遇到的非英文字元文件都是使用UTF 8編碼的, 這時一般我們查看這些文件的內容都不會有問題. 不過有時, 我們有可能會遇到非UTF 8編碼的文件, 比如中文的GBK編碼, 或者俄語的CP1251編碼. 而文本文件一般不帶有自身編碼格式的信息, 這就給我們處理帶來很多麻煩. 本文 ...
目前多數情況下, 我們遇到的非英文字元文件都是使用UTF-8編碼的, 這時一般我們查看這些文件的內容都不會有問題. 不過有時, 我們有可能會遇到非UTF-8編碼的文件, 比如中文的GBK編碼, 或者俄語的CP1251編碼. 而文本文件一般不帶有自身編碼格式的信息, 這就給我們處理帶來很多麻煩. 本文介紹幾個Linux命令來檢測和轉換文本文件的編碼格式.
檢測文件編碼格式
enca 命令名是Extremely Naive Charset Analyser的縮寫, 從它這個賣萌的名字來看, 應該可以用來檢測文件的編碼格式.
安裝 enca
在Ubuntu下, 可以使用以下命令安裝
apt-get install enca使用方式
它最簡單的使用方式如下:
# enca test.txt
Simplified Chinese National Standard; GB2312上面的test.txt是一個含有中文GB2312編碼的文本文件. 根據 enca 的文檔, 當我們運氣好的時候, 就可以按照上面不添加任何額外參數的情況下, 檢測出文件的編碼格式. 而就我的經驗來看, Linux的語言設置是一個影響運氣的因素. 上面的操作在預設語言為中文的Linux中, 行為就會如同上面給出的結果正確的檢測出文件的中文編碼格式. 而當LInux預設為英文時, 運氣就不會那麼好了.
# enca test.txt
enca: Cannot determine (or understand) your language preferences.
Please use `-L language', or `-L none' if your language is not supported
(only a few multibyte encodings can be recognized then).
Run `enca --list languages' to get a list of supported languages.根據 enca 的錯誤提示, 我們需要給它提供-L參數來限定需要檢測的文件語言.
首先, 我們需要看看當前系統下 enca 支持的語言和對應的編碼類型:
# enca --list languages
belarusian: CP1251 IBM866 ISO-8859-5 KOI8-UNI maccyr IBM855 KOI8-U
bulgarian: CP1251 ISO-8859-5 IBM855 maccyr ECMA-113
czech: ISO-8859-2 CP1250 IBM852 KEYBCS2 macce KOI-8_CS_2 CORK
estonian: ISO-8859-4 CP1257 IBM775 ISO-8859-13 macce baltic
croatian: CP1250 ISO-8859-2 IBM852 macce CORK
hungarian: ISO-8859-2 CP1250 IBM852 macce CORK
lithuanian: CP1257 ISO-8859-4 IBM775 ISO-8859-13 macce baltic
latvian: CP1257 ISO-8859-4 IBM775 ISO-8859-13 macce baltic
polish: ISO-8859-2 CP1250 IBM852 macce ISO-8859-13 ISO-8859-16 baltic CORK
russian: KOI8-R CP1251 ISO-8859-5 IBM866 maccyr
slovak: CP1250 ISO-8859-2 IBM852 KEYBCS2 macce KOI-8_CS_2 CORK
slovene: ISO-8859-2 CP1250 IBM852 macce CORK
ukrainian: CP1251 IBM855 ISO-8859-5 CP1125 KOI8-U maccyr
chinese: GBK BIG5 HZ
none:在我的測試環境中, enca 支持以上的語言和編碼. 可以看到中文是chinese: GBK BIG5 HZ, 於是, 我們可以嘗試以下參數組合:
# enca -L chinese test.txt
Simplified Chinese National Standard; GB2312這時, enca 給出了一個明確的答案.
預設情況下, enca 給出的是人可讀的編碼格式名, 比如上面的 Simplified Chinese National Standard; GB2312. 而有時, 我們會希望給出的結果給其他命令或者程式使用, 比如, 我們希望結合 iconv 命令來轉換文件編碼, 可以添加-i來讓 enca 給出相應的程式可用編碼名:
# enca -i -L chinese test.txt
GBK轉換文件編碼格式
在知道了文件的正確編碼格式之後, 我們往往會希望將文件轉換為UTF8之類常用或者系統預設支持的編碼格式, 以便後續進一步處理.
使用 enca 進行轉換
當我們給 enca 命令添加-x參數時, enca 命令就會將文件轉換為-x參數指定的編碼格式:
# enca -L chinese test.txt
Simplified Chinese National Standard; GB2312
# enca -x UTF8 -L chinese test.txt
# enca -L chinese test.txt
Universal transformation format 8 bits; UTF-8可以看到, 在執行enca -x UTF8 -L chinese test.txt命令後, 文件 test.txt 的編碼從GB2312轉換為了UTF8. 註意 , enca 命令會將源文件覆蓋, 所以使用這個命令時, 要註意備份源文件.
使用 iconv 進行轉換
iconv 是*nix系統里的轉換字元編碼的標準命令和API. 如果我們希望將一個GBK編碼的文件轉換為UTF8編碼, 可以以以下方式使用 iconv 命令:
# iconv -f GBK -t UTF8 test.txt其中test.txt是要被轉換的文件, -f GBK參數表示源文件的編碼是GBK, -t UTF8則表示要轉換的目標編碼. 執行以上命令後, iconv 命令會將轉換後的文件內容列印到標準輸出.
如果希望將轉換後的內容保存到文件, 可以添加-o參數:
# iconv -f GBK -t UTF8 -o test_converted.txt test.txt 這個命令就會將轉換後的內容自動保存到 test_converted.txt 文件.
通過 iconv -l則可以查看所有的字元集名稱. 前文也提到enca -i則可以用來輸出 iconv 可用的文件編碼名.
