在開發過程中,我們經常需要列印一些變數的值,便於調試。這個時候就會發現如果在dict list這些容器中,如果包含中文字元,不管是str類型,還是unicode類型,都列印不出來。如下: >>> print {'name': '張三'}{'name': '\xd5\xc5\xc8\xfd'}>>> ...
在開發過程中,我們經常需要列印一些變數的值,便於調試。這個時候就會發現如果在dict list這些容器中,如果包含中文字元,不管是str類型,還是unicode類型,都列印不出來。如下:
>>> print {'name': '張三'}
{'name': '\xd5\xc5\xc8\xfd'}
>>> print {'name': u'張三'}
{'name': u'\u5f20\u4e09'}
當然,作為凡人的我是在無法腦補這些十六進位的意思,每次轉移一下也很麻煩,有沒有辦法一勞永逸呢。google了一把,發現還是有很多姿勢的。
註意:本文實驗主要基於win7,Python2.7,運行環境如下
>>> import sys,locale
>>> sys.getdefaultencoding()
'ascii'
>>> locale.getdefaultlocale()
('zh_CN', 'cp936')
>>> sys.stdin.encoding
'cp936'
>>> sys.stdout.encoding
'cp936'
本文地址:http://www.cnblogs.com/xybaby/p/7854126.html
str類型的中文
首先讓我們分析一下為什麼無法包含中文的container(dict list tuple)
>>> data = {'嚴': 1, 2: ['如'], 3:'玉'}
>>> data
{2: ['\xc8\xe7'], 3: '\xd3\xf1', '\xd1\xcf': 1}
>>> print data
{2: ['\xc8\xe7'], 3: '\xd3\xf1', '\xd1\xcf': 1}
>>> print data[3]
玉
上面data在key value中包含中文,而且也有嵌套的list,後文都使用這個data
可以看到不管是直接輸出data(調用dict.__repr__),還是print data(調用dict.__str__),都無法輸出中文,而是像str.__repr__的結果。即調用容器的__str__時,事實上調用的是容器元素的__repr__方法,這個很好驗證:
>>> class OBJ(object):
... def __str__(self):
... return 'OBJ str'
... def __repr__(self):
... return 'OBJ repr'
...
>>> lst = [OBJ()]
>>> print lst
[OBJ repr]
>>>
OBJ這個自定義的類,__str__ __repr__的方法實現不一樣,當作為container(list)的元素時,明顯調用的是OBJ.__repr__
在stackoverflow上的一個問題print-a-list-that-contains-chinese-characters-in-python給出了答案
When you print foo, what gets printed out is str(foo).
However, if foo is a list, str(foo) uses repr(bar) for each element bar, not str(bar).
當然,這個問題早就被人發現了,在PEP3140 str(container) should call str(item), not repr(item) ,在這個提議中,就建議在列印容器的時候,使用__str__而不是__repr__。但是被Guido(Python之父)無情的拒絕了,原因是:
Guido said this would cause too much disturbance too close to beta
雖然提議被reject了,但是需求還是照樣存在的啊,於是有了各種解決辦法
第一種姿勢:逐個列印
直接print容器中的元素
>>> lst = ['張三', '李四']
>>> print '[' + ', '.join(["asdf", "中文"]) + ']'
[asdf, 中文]
>>> for k, v in {'name': '張三'}.items():
... print k, v
...
name 張三
對於簡單的容器對象,還是很方便的,但是對於嵌套的容器對象,比如上面data的例子,就很麻煩了
第二種姿勢: json dumps
這個方法在網上推薦得較多
>>> import json
>>> dumped_data = json.dumps(data, encoding = 'gbk', ensure_ascii=False)
>>> print dumped_data
{"2": ["如"], "3": "玉", "嚴": 1}
可以看到,雖然列印出了中文,但是2 3都被加上了引號,感覺怪怪的
需要註意的是上面的兩個參數(encoing ensure_ascii), 這兩個參數都有預設參數(encoding = 'utf-8', ensure_ascii=True),跟我們這裡使用的都不一樣。
>>> dumped_data = json.dumps(data)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "D:\Python27.9\lib\json\__init__.py", line 243, in dumps
return _default_encoder.encode(obj)
File "D:\Python27.9\lib\json\encoder.py", line 207, in encode
chunks = self.iterencode(o, _one_shot=True)
File "D:\Python27.9\lib\json\encoder.py", line 270, in iterencode
return _iterencode(o, 0)
UnicodeDecodeError: 'utf8' codec can't decode byte 0xc8 in position 0: invalid continuation byte
當然,為什麼這裡爆出了UnicodeDecodeError,可以參考這篇文章《不想再被鄙視?那就看進來! 一文搞懂Python2字元編碼》
ensure_ascii參數也很關鍵
>>> dumped_data = json.dumps(data, encoding = 'gbk')
>>> print dumped_data
{"2": ["\u5982"], "3": "\u7389", "\u4e25": 1}
python document是有描述的;
If ensure_ascii is True (the default), all non-ASCII characters in the output are escaped with \uXXXX sequences, and the result is a str instance consisting of ASCII characters only.
第三種姿勢: repr string_escape
>>> decoded_data = repr(data).decode('string_escape')
>>> print decoded_data
{2: ['如'], 3: '玉', '嚴': 1}
既然repr的輸出是十六進位的str,那麼就可以使用string_escape進行轉換,具體也可以參見上文
第四種姿勢:PEP3140
雖然PEP3140被reject了,但我們還是可以利用其思想吧,那就是強制調用str.__str__而不是str.__repr__
1 class ForceStr(str): 2 def __repr__(self): 3 return super(ForceStr, self).__str__() 4 5 def switch_container( data ): 6 ret = None 7 if isinstance(data, str): 8 ret = ForceStr(data) 9 elif isinstance(data, list) or isinstance(data, tuple): 10 ret = [switch_container(var) for var in data] 11 elif isinstance(data, dict): 12 ret = dict((switch_container(k), switch_container(v)) for k, v in data.iteritems()) 13 else: 14 ret = data 15 return ret
>>> switched_data = switch_container(data)
>>> print switched_data
{2: [如], 3: 玉, 嚴: 1}
>>> switched_data
{2: [如], 3: 玉, 嚴: 1}
ForceStr繼承自str,然後ForceStr.__repr__調用str.__str__。然後遞歸將容器裡面的str類型的元素替換成ForceStr。可以看到,能夠順序列印出中文,格式也沒有問題
unicode類型的中文
基本姿勢於上一章節是一樣的,下麵直接給出答案
同上第二種姿勢
>>> udata = {u'嚴': 1, 2: [u'如'], 3:u'玉'}
>>> print json.dumps(udata, encoding = 'gbk', ensure_ascii=False)
{"2": ["如"], "3": "玉", "嚴": 1}
同上第三種姿勢
>>> print repr(udata).decode('unicode_escape')
{2: [u'如'], 3: u'玉', u'嚴': 1}
>>>
同上第四種姿勢
1 def switch_container( data ): 2 ret = None 3 if isinstance(data, unicode): 4 ret = ForceStr(data.encode(sys.stdout.encoding)) 5 elif isinstance(data, list) or isinstance(data, tuple): 6 ret = [switch_container(var) for var in data] 7 elif isinstance(data, dict): 8 ret = dict((switch_container(k), switch_container(v)) for k, v in data.iteritems()) 9 else: 10 ret = data 11 return ret
>>>
>>> print switch_container(udata)
{2: [如], 3: 玉, 嚴: 1}
當str與unicode中文並存時
同上第二種姿勢
>>> data[4] = u'啊'
>>> print json.dumps(data, encoding = 'gbk', ensure_ascii=False)
{"2": ["如"], "3": "玉", "4": "啊", "嚴": 1}
同上第三種姿勢
>>> print repr(data).decode('string_escape')
{2: ['如'], 3: '玉', 4: u'\u554a', '嚴': 1}
呃,unicode中文列印不出來
>>> print repr(data).decode('unicode_escape')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'gbk' codec can't encode character u'\xc8' in position 6: illegal multibyte sequence
>>>
擦,也許有正確的姿勢,不過我沒有試出來
同上第四種姿勢
1 def switch_container( data ): 2 ret = None 3 if isinstance(data, str): 4 ret = ForceStr(data) 5 elif isinstance(data, unicode): 6 ret = ForceStr(data.encode(sys.stdout.encoding)) 7 elif isinstance(data, list) or isinstance(data, tuple): 8 ret = [switch_container(var) for var in data] 9 elif isinstance(data, dict): 10 ret = dict((switch_container(k), switch_container(v)) for k, v in data.iteritems()) 11 else: 12 ret = data 13 return ret
>>> print switch_container(data)
{2: [如], 3: 玉, 4: 啊, 嚴: 1}
總結
json.dumps版本還算可以,能夠處理str中文,unicode中文, str與unicode中文並存三種情況,不過顯示結果與真實有點差異
string_escape(unicode_escape)只使用只有str(unicode)中文的情況,使用較為受限
自己實現的switch_container版本,能夠友好支持str中文,unicode中文,str與unicode中文並存三種情況
str與unicode並存真是一件蛋疼的事情!
reference
print-a-list-that-contains-chinese-characters-in-python