python2.x默認編碼問題解決方法

我也會在以后學習中，不斷的修改此篇博客。

這里假設讀者已有與編碼相關的基礎知識,本文不再再次介紹，包括什么是utf-8，什么是unicode，它們之間有什么關系。
str與字節碼

首先，我們完全不談unicode。

s = "人生苦短"

s是個字符串，它本身存儲的就是字節碼。那么這個字節碼是什么格式的？

如果這段代碼是在解釋器上輸入的，那么這個s的格式就是解釋器的編碼格式，對于windows的cmd而言，就是gbk。

如果將段代碼是保存后才執行的，比如存儲為utf-8，那么在解釋器載入這段程序的時候，就會將s初始化為utf-8編碼。
unicode與str

我們知道unicode是一種編碼標準，具體的實現標準可能是utf-8，utf-16，gbk ……

python 在內部使用兩個字節來存儲一個unicode，使用unicode對象而不是str的好處，就是unicode方便于跨平臺。

你可以用如下兩種方式定義一個unicode:

s1 = u"人生苦短"
s2 = unicode("人生苦短", "utf-8")

encode與decode

在python中的編碼解碼是這樣的：

所以我們可以寫這樣的代碼：

# -*- coding:utf-8 -*-
su = "人生苦短"
# ： su是一個utf-8格式的字節串
u = s.decode("utf-8")
# ： s被解碼為unicode對象，賦給u
sg = u.encode("gbk")
# ： u被編碼為gbk格式的字節串，賦給sg
print sg
# 打印sg

但是事實情況要比這個復雜，比如看如下代碼：

s = "人生苦短"
s.encode('gbk')

看！str也能編碼，(事實上unicode對象也能解碼，但是意義不大)

這樣為什么可以？看上圖的編碼流程的箭頭，你就能想到原理，當對str進行編碼時，會先用默認編碼將自己解碼為unicode，然后在將unicode編碼為你指定編碼。

這就引出了python2.x中在處理中文時，大多數出現錯誤的原因所在：python的默認編碼，defaultencoding是ascii

看這個例子：

# -*- coding: utf-8 -*-
s = "人生苦短"
s.encode('gbk')

上面的代碼會報錯，錯誤信息：UnicodeDecodeError: ‘ascii' codec can't decode byte ……

因為你沒有指定defaultencoding,所以它其實在做這樣的事情:

# -*- coding: utf-8 -*-
s = "人生苦短"
s.decode('ascii').encode('gbk')

設置defaultencoding

設置defaultencoding的代碼如下：

reload(sys)
sys.setdefaultencoding('utf-8')

如果你在python中進行編碼和解碼的時候，不指定編碼方式，那么python就會使用defaultencoding。

比如上一節例子中將str編碼為另一種格式，就會使用defaultencoding。

s.encode("utf-8") 等價于 s.decode(defaultencoding).encode("utf-8")

再比如你使用str創建unicode對象時，如果不說明這個str的編碼格式，那么程序也會使用defaultencoding。

u = unicode("人生苦短") 等價于 u = unicode("人生苦短",defaultencoding)

默認的defaultcoding：ascii是許多錯誤的原因，所以早早的設置defaultencoding是一個好習慣。

文件頭聲明編碼的作用。

這要感謝這篇博客關于python文件頭部分知識的講解。

頂部的:# -*- coding: utf-8 -*-目前看來有三個作用。

如果代碼中有中文注釋，就需要此聲明
比較高級的編輯器（比如我的emacs），會根據頭部聲明，將此作為代碼文件的格式。
程序會通過頭部聲明，解碼初始化 u”人生苦短”，這樣的unicode對象，（所以頭部聲明和代碼的存儲格式要一致）

關于requests庫

requests是一個很實用的Python HTTP客戶端庫，編寫爬蟲和測試服務器響應數據時經常會用到。

其中的Request對象在訪問服務器后會返回一個Response對象，這個對象將返回的Http響應字節碼保存到content屬性中。

但是如果你訪問另一個屬性text時，會返回一個unicode對象，亂碼問題就會常常發成在這里。

因為Response對象會通過另一個屬性encoding來將字節碼編碼成unicode，而這個encoding屬性居然是responses自己猜出來的。

官方文檔：

text
Content of the response, in unicode.

If Response.encoding is None, encoding will be guessed using chardet.

The encoding of the response content is determined based solely on HTTP headers, following RFC 2616 to the letter. If you can take advantage of non-HTTP knowledge to make a better guess at the encoding, you should set r.encoding appropriately before accessing this property.

所以要么你直接使用content(字節碼)，要么記得把encoding設置正確，比如我獲取了一段gbk編碼的網頁,就需要以下方法才能得到正確的unicode。

import requests
url = "http://xxx.xxx.xxx"
response = requests.get(url)
response.encoding = 'gbk'
 
print response.text

如果是早期的我寫博客，那么我一定會寫這樣的例子：不僅僅要原理，更要使用方法！

如果現在的文件編碼為gbk,然后文件頭為：# -*- coding: utf-8 -*-，再將默認編碼設置為xxx，那么如下程序的結果會是……

這就類似于，當年學c的時候，用各種優先級，結合性，指針來展示自己水平的代碼。

實際上這些根本就不實用，誰會在真正的工作中寫這樣的代碼呢？我在這里想談談實用的處理中文的python方法。

基本設置

主動設置defaultencoding。（默認的是ascii）

代碼文件的保存格式要與文件頭部的# coding:xxx一致

如果是中文，程序內部盡量使用unicode，而不用str

關于打印

你在打印str的時候，實際就是直接將字節流發送給shell。如果你的字節流編碼格式與shell的編碼格式不相同，就會亂碼。

而你在打印unicode的時候，系統自動將其編碼為shell的編碼格式，是不會出現亂碼的。

程序內外要統一

如果說程序內部要保證只用unicode，那么在從外部讀如字節流的時候，一定要將這些字節流轉化為unicode，在后面的代碼中去處理unicode，而不是str。

with open("test") as f:
 for i in f:
 # 將讀入的utf-8字節流進行解碼
 u = i.decode('utf-8')
 ....

如果把連接程序內外的這段數據流比喻成通道的的話，那么與其將通道開為字節流，讀入后進行解碼，不如直接將通道開為unicode的。

# 使用codecs直接開unicode通道
file = codecs.open("test", "r", "utf-8")
for i in file:
 print type(i)
 # i的類型是unicode的

所以python處理中文編碼問題的關鍵是你要清晰的明白，自己在干什么，打算讀入什么格式的編碼，聲明的的這些字節是什么格式的，str到unicode是如何轉換的，str的一種編碼到另一種編碼又是如何進行的。 還有，你不能把問題變得混亂，要自己主動去維護一種統一。

python 3和2很大區別就是python本身改為默認用unicode編碼。

字符串不再區分"abc"和u"abc", 字符串"abc"默認就是unicode，不再代表本地編碼、

由于有這種內部編碼，像c#和java類似，再沒有必要在語言環境內做類似設置編碼，比如“sys.setdefaultencoding”;

也因此也python 3的代碼和包管理上打破了和2.x的兼容。2.x的擴展包要適應這種情況改寫。

另一個問題是語言環境內只有unicode怎么輸出gbk之類的本地編碼。

1.如果你在Python中進行編碼和解碼的時候，不指定編碼方式，那么python就會使用defaultencoding。 而python2.x的的defaultencoding是ascii,

這也就是大多數python編碼報錯：“UnicodeDecodeError: 'ascii' codec can't decode byte ......”的原因。

2.關于頭部的# coding：utf-8,有以下幾個作用 2.1如果代碼中有中文注釋，就需要此聲明 2.2比較高級的編輯器（比如我的emacs），會根據頭部聲明，將此作為代碼文件的格式。 2.3程序會通過頭部聲明，解碼初始化 u"人生苦短"，這樣的unicode對象，（所以頭部聲明和代碼的存儲格式要一致）

python2.7以后不用setdefaultencoding了，這兩個是沒有區別的

這兩個作用不一樣, 1. # coding:utf-8 作用是定義源代碼的編碼. 如果沒有定義, 此源碼中是不可以包含中文字符串的. PEP 0263 -- Defining Python Source Code Encodings https://www.python.org/dev/peps/pep-0263/ 2. sys.getdefaultencoding() 是設置默認的string的編碼格式

答按慣例都在(序列化)輸出時才轉換成本地編碼。

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com