python2編碼總結

以下依次列出python2常遇到的幾個問題及講解。

# -*- coding:utf-8 -*-

python2預設以ASCII編碼，但是在實際編碼過程中，我們會用到很多中文，為了不使包含中文的程式報錯，也是為了符合國際通用慣例，一般將我們的文件編碼設置為utf-8格式。

設定編碼的格式有很多種，只要第一行或者第二行的聲明符合正則表達式 "coding[:=]\s*([-\w.]+)" 即可，一般的聲明方式為#-*- coding:utf-8 -*-。

str = "你好"
print str

　　運行以上代碼，程式會報錯：SyntaxError: Non-ASCII character '\xe4' in file D:/TestPython/test/111.py on line 1, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details。這是提示程式中有非ASCII編碼的字元。如果加上utf-8聲明，程式就不會報錯。

# -*- coding:utf-8 -*-

str = "你好"
print str

　　雖然以上寫法不會報錯，但是輸出的卻是亂碼，為什麼呢？這就是下麵要講的內容。

encode和decode

講解編碼和解碼之前，先來講講Unicode和utf-8的關係，推薦這篇博客給大家。

# -*- coding:utf-8 -*-

str1 = "你好"
print type(str1)
str2 = str1.decode("utf-8")
print type(str2)

　　str1是str類型， 通過decode轉為了unicode類型。

下麵看encode代碼：

# -*- coding:utf-8 -*-

str1 = u"你好"
print type(str1)
str2 = str1.encode("utf-8")
print type(str2)

　　str1是unicode類型，通過encode轉為了str類型。

我們再回頭看最開始留下的問題，那段代碼為什麼會輸出亂碼呢。因為文件規定的編碼格式是utf-8,但是我們print是列印到控制台的，控制台無法顯示utf-8編碼格式的字元。所以我們要轉一下格式。

# -*- coding:utf-8 -*-

str = "你好"
str = str.decode("utf-8")
print str

　　很多時候編碼解碼的時候需要加ignore參數才能正確轉換，例如.encode('utf-8', 'ignore')或.decode('utf-8', 'ignore')，大家自行斟酌吧。

chardet獲取編碼格式

有些時候我們是無法知道字元串是什麼編碼的，比如抓取網頁時，有些是utf-8的，有些是gb2312編碼的，那我們該怎麼獲取編碼格式並轉換為unicode呢。這裡就介紹到一個第三方庫chardet。使用方式大概如下：

# -*- coding: utf-8 -*-

import chardet

str = "xxxxx"
str_type = chardet.detect(str)
code = str_type['encoding']

　　code即為str的編碼格式。但有些人反映該方法得到的編碼格式不准確，速度也慢。本人親測，速度確實一般，但是目前還沒遇到不准確的情況。大家可以斟酌使用，我這裡只是提供一個思路，如果誰那裡有更好的方式，可以告知小弟，不吝賜教才是。

import sys

reload(sys)

sys.setdefaultencoding('utf8')

之前也遇到過很莫名其妙的編碼錯誤，網上搜到這種方法能解決就糊裡糊塗的用上了，也不知是什麼原理。今天看到一篇不錯的博客，推薦給大家：http://blog.csdn.net/crazyhacking/article/details/39375535。以下內容引用自該篇文章：

Python 裡面的編碼和解碼也就是 unicode 和 str 這兩種形式的相互轉化。編碼是 unicode -> str，相反的，解碼就是 str -> unicode。剩下的問題就是確定何時需要進行編碼或者解碼了.關於文件開頭的"編碼指示"，也就是 # -*- coding: -*- 這個語句。Python 預設腳本文件都是 UTF-8 編碼的，當文件中有非 UTF-8 編碼範圍內的字元的時候就要使用"編碼指示"來修正. 關於 sys.defaultencoding，這個在解碼沒有明確指明解碼方式的時候使用。比如我有如下代碼： 
#! /usr/bin/env python 
# -*- coding: utf-8 -*- 
s = '中文'  # 註意這裡的 str 是 str 類型的，而不是 unicode 
s.encode('gb18030') 

這句代碼將 s 重新編碼為 gb18030 的格式，即進行 unicode -> str 的轉換。因為 s 本身就是 str 類型的，因此 Python 會自動的先將 s 解碼為 unicode ，然後再編碼成 gb18030。因為解碼是python自動進行的，我們沒有指明解碼方式，python 就會使用 sys.defaultencoding 指明的方式來解碼。很多情況下 sys.defaultencoding 是 ANSCII，如果 s 不是這個類型就會出錯。拿上面的情況來說，我的 sys.defaultencoding 是 anscii，而 s 的編碼方式和文件的編碼方式一致，是 utf8 的，所以出錯了: 
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 
0: ordinal not in range(128) 
對於這種情況，我們有兩種方法來改正錯誤： 
一是明確的指示出 s 的編碼方式 

#! /usr/bin/env python 
# -*- coding: utf-8 -*- 

s = '中文' 
s.decode('utf-8').encode('gb18030') 


二是更改 sys.defaultencoding 為文件的編碼方式 

#! /usr/bin/env python 
# -*- coding: utf-8 -*- 

import sys 
reload(sys) # Python2.5 初始化後會刪除 sys.setdefaultencoding 這個方法，我們需要重新載入 
sys.setdefaultencoding('utf-8') 

str = '中文' 
str.encode('gb18030')

   

看完之後,改成這樣

print "<p>addr:", form["addr"].value.decode('gb2312').encode('utf-8') 
成功通過.

　　但是這種方式用著就是彆扭，還是儘量自己來控制編碼，明確了編碼格式，自己寫著也踏實。

個人總結

實際編程過程中，最好能在代碼內統一編碼格式，比如統一為unicode，因為這樣就不用考慮編碼的問題了。到了顯示或輸出時再轉換為存儲類型（utf-8、GBK）。

以上為最近編寫python代碼的過程中遇到的一些問題及總結，如果有什麼不對的地方還請大家及時回覆交流，在此謝過。