python2.x 預設編碼問題

来源:http://www.cnblogs.com/work115/archive/2016/09/30/5924446.html
-Advertisement-
Play Games

python2.x中處理中文,是一件頭疼的事情。網上寫這方面的文章,測次不齊,而且都會有點錯誤,所以在這裡打算自己總結一篇文章。 我也會在以後學習中,不斷的修改此篇博客。 這裡假設讀者已有與編碼相關的基礎知識,本文不再再次介紹,包括什麼是utf-8,什麼是unicode,它們之間有什麼關係。str與 ...


python2.x中處理中文,是一件頭疼的事情。網上寫這方面的文章,測次不齊,而且都會有點錯誤,所以在這裡打算自己總結一篇文章。

我也會在以後學習中,不斷的修改此篇博客。

這裡假設讀者已有與編碼相關的基礎知識,本文不再再次介紹,包括什麼是utf-8,什麼是unicode,它們之間有什麼關係。
str與位元組碼

首先,我們完全不談unicode。
 

?
1 s = "人生苦短"

s是個字元串,它本身存儲的就是位元組碼。那麼這個位元組碼是什麼格式的?

如果這段代碼是在解釋器上輸入的,那麼這個s的格式就是解釋器的編碼格式,對於windows的cmd而言,就是gbk。

如果將段代碼是保存後才執行的,比如存儲為utf-8,那麼在解釋器載入這段程式的時候,就會將s初始化為utf-8編碼。
unicode與str

我們知道unicode是一種編碼標準,具體的實現標準可能是utf-8,utf-16,gbk ……

python 在內部使用兩個位元組來存儲一個unicode,使用unicode對象而不是str的好處,就是unicode方便於跨平臺。

你可以用如下兩種方式定義一個unicode:
 

?
1 2 s1 = u"人生苦短" s2 = unicode("人生苦短", "utf-8")
encode與decode

在python中的編碼解碼是這樣的:

201533090956961.jpg (600×338)

北京動力節點java培訓 【點擊進入】 動力節點-口口相傳的java黃埔軍校, 專註java教學7年,老學員力薦品牌. 查 看      

 

 

所以我們可以寫這樣的代碼:
 

?
1 2 3 4 5 6 7 8 9 # -*- coding:utf-8 -*- su = "人生苦短" # : su是一個utf-8格式的位元組串 u = s.decode("utf-8") # : s被解碼為unicode對象,賦給u sg = u.encode("gbk") # : u被編碼為gbk格式的位元組串,賦給sg print sg # 列印sg

但是事實情況要比這個複雜,比如看如下代碼:
 

?
1 2 s = "人生苦短" s.encode('gbk')
看!str也能編碼,(事實上unicode對象也能解碼,但是意義不大)

這樣為什麼可以?看上圖的編碼流程的箭頭,你就能想到原理,當對str進行編碼時,會先用預設編碼將自己解碼為unicode,然後在將unicode編碼為你指定編碼。

這就引出了python2.x中在處理中文時,大多數出現錯誤的原因所在:python的預設編碼,defaultencoding是ascii

看這個例子:
 

?
1 2 3 # -*- coding: utf-8 -*- s = "人生苦短" s.encode('gbk')

上面的代碼會報錯,錯誤信息:UnicodeDecodeError: ‘ascii' codec can't decode byte ……

因為你沒有指定defaultencoding,所以它其實在做這樣的事情:

?
1 2 3 # -*- coding: utf-8 -*- s = "人生苦短" s.decode('ascii').encode('gbk')

 
設置defaultencoding

設置defaultencoding的代碼如下:

?
1 2 reload(sys) sys.setdefaultencoding('utf-8')

如果你在python中進行編碼和解碼的時候,不指定編碼方式,那麼python就會使用defaultencoding。

比如上一節例子中將str編碼為另一種格式,就會使用defaultencoding。
 

?
1 s.encode("utf-8") 等價於 s.decode(defaultencoding).encode("utf-8")

再比如你使用str創建unicode對象時,如果不說明這個str的編碼格式,那麼程式也會使用defaultencoding。
 

?
1 u = unicode("人生苦短") 等價於 u = unicode("人生苦短",defaultencoding)

預設的defaultcoding:ascii是許多錯誤的原因,所以早早的設置defaultencoding是一個好習慣。
文件頭聲明編碼的作用。

這要感謝這篇博客關於python文件頭部分知識的講解。

頂部的:# -*- coding: utf-8 -*-目前看來有三個作用。

    如果代碼中有中文註釋,就需要此聲明
    比較高級的編輯器(比如我的emacs),會根據頭部聲明,將此作為代碼文件的格式。
    程式會通過頭部聲明,解碼初始化 u”人生苦短”,這樣的unicode對象,(所以頭部聲明和代碼的存儲格式要一致)

關於requests庫

requests是一個很實用的Python HTTP客戶端庫,編寫爬蟲和測試伺服器響應數據時經常會用到。

其中的Request對象在訪問伺服器後會返回一個Response對象,這個對象將返回的Http響應位元組碼保存到content屬性中。

但是如果你訪問另一個屬性text時,會返回一個unicode對象,亂碼問題就會常常發成在這裡。

因為Response對象會通過另一個屬性encoding來將位元組碼編碼成unicode,而這個encoding屬性居然是responses自己猜出來的。

官方文檔:

    text
    Content of the response, in unicode.

    If Response.encoding is None, encoding will be guessed using chardet.

    The encoding of the response content is determined based solely on HTTP headers, following RFC 2616 to the letter. If you can take advantage of non-HTTP knowledge to make a better guess at the encoding, you should set r.encoding appropriately before accessing this property.

所以要麼你直接使用content(位元組碼),要麼記得把encoding設置正確,比如我獲取了一段gbk編碼的網頁,就需要以下方法才能得到正確的unicode。
 

?
1 2 3 4 5 6 import requests url = "http://xxx.xxx.xxx" response = requests.get(url) response.encoding = 'gbk'    print response.text

不僅僅要原理,更要使用方法!

如果是早期的我寫博客,那麼我一定會寫這樣的例子:

如果現在的文件編碼為gbk,然後文件頭為:# -*- coding: utf-8 -*-,再將預設編碼設置為xxx,那麼如下程式的結果會是……

這就類似於,當年學c的時候,用各種優先順序,結合性,指針來展示自己水平的代碼。

實際上這些根本就不實用,誰會在真正的工作中寫這樣的代碼呢?我在這裡想談談實用的處理中文的python方法。

基本設置

主動設置defaultencoding。(預設的是ascii)

代碼文件的保存格式要與文件頭部的# coding:xxx一致

如果是中文,程式內部儘量使用unicode,而不用str

關於列印

你在列印str的時候,實際就是直接將位元組流發送給shell。如果你的位元組流編碼格式與shell的編碼格式不相同,就會亂碼。

而你在列印unicode的時候,系統自動將其編碼為shell的編碼格式,是不會出現亂碼的。

程式內外要統一

如果說程式內部要保證只用unicode,那麼在從外部讀如位元組流的時候,一定要將這些位元組流轉化為unicode,在後面的代碼中去處理unicode,而不是str。

?
1 2 3 4 5 with open("test") as f:  for i in f:  # 將讀入的utf-8位元組流進行解碼  u = i.decode('utf-8')  ....

如果把連接程式內外的這段數據流比喻成通道的的話,那麼與其將通道開為位元組流,讀入後進行解碼,不如直接將通道開為unicode的。
 

?
1 2 3 4 5 # 使用codecs直接開unicode通道 file = codecs.open("test", "r", "utf-8") for i in file:  print type(i)  # i的類型是unicode的

所以python處理中文編碼問題的關鍵是你要清晰的明白,自己在乾什麼,打算讀入什麼格式的編碼,聲明的的這些位元組是什麼格式的,str到unicode是如何轉換的,str的一種編碼到另一種編碼又是如何進行的。 還有,你不能把問題變得混亂,要自己主動去維護一種統一。

 

 

python 3和2很大區別就是python本身改為預設用unicode編碼。

字元串不再區分"abc"和u"abc", 字元串"abc"預設就是unicode,不再代表本地編碼、

由於有這種內部編碼,像c#和java類似,再沒有必要在語言環境內做類似設置編碼,比如“sys.setdefaultencoding”;

也因此也python 3的代碼和包管理上打破了和2.x的相容。2.x的擴展包要適應這種情況改寫。

另一個問題是語言環境內只有unicode怎麼輸出gbk之類的本地編碼。

答按慣例都在(序列化)輸出時才轉換成本地編碼。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 什麼是基元類型? 什麼是基元類型? 初學者可能很少聽說過這個名詞,但是平時用得最多的肯定是基元類型。先看下麵兩行代碼: 上面兩行代碼都表示聲明一個int類型的變數,但在平時寫代碼的時候我們一般用的是第二種方式。第二種方式不僅簡潔、易讀,而且生成的IL代碼和第一種完全一致。像這種編譯器直接支持的數據類 ...
  • 1. 類的訪問修飾符 2. 成員修飾符 ...
  • 1、頁面上按鈕是伺服器控制項,現在刷新頁面要防止按鈕事件重覆執行 原網址:http://blog.csdn.net/high_mount/article/details/51066056 ...
  • (-1)寫在前面 都快去北京了,硬生生的安排一場java考試,對於那些特別細節的東西我忘了吧也不覺得有什麼不好,以前都記得,也都見過,只不過平時不常用連接斷了,但是你死記硬背是沒用的,一段時間後還是會忘,唯一的途徑就是多做東西,理論聯繫實際,相反這道題我感覺很有意思,也在網上看到了很多解釋,覺得都有 ...
  • 在python中處理各類序列時,如果我們想顯示出這個序列的元素以及它們的下標,可以使用enumerate()函數。 enumerate()函數用於遍歷用於遍歷序列中的元素以及它們的下標,用法如下: 1.參數為一個元組tuple:for index, value in enumerate(('a', ... ...
  • 在項目中Maven用的一直比較多,以前只知道簡單的配置一些依賴,所以找了時間 孔浩老師 Maven的學習視頻學習了一下 Maven初步 手動建立 Maven 項目 1、新建一個簡單 項目 手動 項目:按照 規範建立項目路徑和 2、常用的Maven 命令 3、maven 預設的中央倉庫的地址 在 中 ...
  • HTML: HTML的概述及作用: HTML全稱為HyperText Markup Language,譯為超文本標記語言,不是一種編程語言,是一種描述性的標記語言,用於描述超文本中內容的顯示方式。比如字體什麼顏色,大小等。 Html就是超文本標記語言的簡寫,是最基礎的網頁語言。 Html是通過標簽來 ...
  • 策略模式屬於對象的行為模式。其用意是針對一組演算法,將每一個演算法封裝到具有共同介面的獨立的類中,從而使得它們可以相互替換。策略模式使得演算法可以在不影響到客戶端的情況下發生變化。 本文地址:http://www.cnblogs.com/wuyudong/p/5924223.html,轉載請註明源地址。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...