Python中的编码与解码(转)

快乐的老鼠

　　Python中的字符编码与解码困扰了我很久了，一直没有认真整理过，这次下静下心来整理了一下我对方面知识的理解。
　　文章中对有些知识没有做深入的探讨，一是我自己也没有去深入的了解，例如各种编码方案的实现方式等；二是我觉得只要提能对理解Python字符编码与解码的关键知识即可，想深入可以查其它资料。
　　文中的观点肯定有纰漏，只做参考，欢迎指正。
　　Unicode
　　参考：http://baike.baidu.com/view/40801.htm
　　Unicode是什么，这里不多说了，百科上面讲的很清楚了，这里只提下有助于理解本文主题的知识。
　　Unicode是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案。每个字符都对应一个编号，编号的范围是0-0x10FFFF来。
　　字符编码方案
　　参考：http://baike.baidu.com/view/40801.htm
　　我们知道，每个Unicode字符对应一个编号，例如汉字“我”对应的编号是25105，但在程序中不是直接用编号来表示Unicode字符的（那得有多长的数字啊），而是表示成16进制格式，但具体怎么转换成16进制，不同的编码方案采用的方式不一样。
　　

>>> s = u'我'　　
>>> ord(s)
　　
25105
　　
>>> s
　　
u'\u6211'
　　
>>> s.encode('utf-8')
　　
'\xe6\x88\x91'
　　
>>> s.encode('utf-16')
　　
'\xff\xfe\x11b'
　　
>>> s.encode('utf-32')
　　
'\xff\xfe\x00\x00\x11b\x00\x00'
　　
>>> s.encode('gbk')
　　
'\xce\xd2'
　　
>>>
　　

　　我们用unicode()内置函数创建了一个Python中的unicode字符，然后ord()函数可以得到它在Unicode字符集中的编号。Python的unicode对象有一个encode()方法，用来对unicode对像进行编码。
　　这个示例中的一些知识，在后面会讲到，现在不用深究。这里提下UTF-8编码方式，其它的还没深入研究过，但不妨碍本文的主题。
　　UTF-8以字节为单位对Unicode编号进行编码。每个字节被转换成一个二位的十六进制数。UTF-8的特点是对不同范围的字符使用不同长度的编码。对于0x00-0x7F之间的字符，UTF-8编码与ASCII编码完全相同。UTF-8编码的最大长度是4个字节。
　　Python支持很多的编码方案，包括ascii，utf-8，utf-16，utf32，gbk，gb2312等，完整的列表可以在下面的链接中找到：
　　http://docs.python.org/2/library/codecs.html#standard-encodings
　　Python中的字符串
　　在Python中，str 对象表示所有普通字符串对象，它只能表示ASCII码表中的字符，特点是每个字符占用一个字节，所以也叫做字节字符串（Byte string）。unicode 对象则可以表示所有Unicode字符集中的字符。
　　s = 'I love python'
　　u = u'我爱Python'
　　print isinstance(s, str)
　　print isinstance(u, unicode)
　　--输出
　　True
　　True
　　还可以使用 str() 函数 和 unicode() 从一个对象构建字符串，
　　str(object) 函数返回的结果通常可以通过定义 object 的 str 属性来定制返回的结果。
　　unicode()函数接受多个参数，与编码格式有关，这在后面会讲到。
　　Python中的Unicode 转义字符
　　我们常看到“ \u6211” 这样的字符，用json.dumps(obj)时，如里obj是unicode字符，包含非ASCII码，且ensure_ascii=True,那返回的结果字符串中就包含这种形式。这是个转义字符，表示Unicode字符“我”。但是注意的是，这种转义只在unicode字面量中有效，用print 输出时会自动转为对应的unicode字符。而在str字面量中没有特殊意义。web信息中常会遇到“\u4f60\u597d”类型的字符。首先’\u‘开头就基本表明是跟unicode编码相关的。python里str.decode()和str.encode()为我们提供了解码和编码的方法。其中str.decode('unicode_escape')能将此种字符串解码为unicode字符串。下面是在ubuntu的ipython中的操作，
　　

>>> a = u'你好'　　
>>> a
　　
u'\u4f60\u597d'
　　
>>> print a
　　
你好
　　
>>> b = '你好'
　　
>>> b
　　
'\xe4\xbd\xa0\xe5\xa5\xbd'
　　
>>> print b
　　
你好
　　
>>> c = '\u4f60\u597d'
　　
>>>
　　
>>> c
　　
'\\u4f60\\u597d'
　　
>>> print c
　　
\u4f60\u597d
　　
>>>
　　
>>> d = r'\u4f60\u597d'
　　
>>> d
　　
'\\u4f60\\u597d'
　　
>>> print d
　　
\u4f60\u597d
　　
>>> d == c
　　
True
　　
>>> e = c.decode('unicode_escape')
　　
>>> e
　　
u'\u4f60\u597d'
　　
>>> print e
　　
你好
　　
>>>
　　

　　其实6211是字符‘我’在Unicode字符集中的编号25105的16进制值
　　字符串字面量和程序中处理的字符串
　　在源代码中，字符串通常用字面量来表示
　　u = u'我爱Python'
　　但字面量是给人看的，程序看到的是对字面量进行处理后的字符，而且 str 字符串和 unicode 字符串的处理方式不一样。
　　unicode 字符串会将字面量中的非ASCII字符替换成Unicode转义符，但最后的结果是与原字符串等价的。
　　str类型的字面量会使用设置的编码格式进行编码处理，最后得到的是编码字符串（这点很重要，后面会提到）。编码字符串与原字符串不能等同。
　　--脚本

-- coding: utf-8 --
　　s = '我爱Python'
　　u = u'我爱Python'
　　print 'encoded str: ', repr(s)
　　print 'escaped unicode: ', repr(u)
　　print 'str: ', s
　　print 'decoded str: ', s.decode('utf-8')
　　print 'unicode: ', u
　　--输出
　　encoded str: '\xe6\x88\x91\xe7\x88\xb1Python'
　　escaped unicode: u'\u6211\u7231Python'
　　str: 鎴戠埍Python
　　decoded str: 我爱Python
　　unicode: 我爱Python
　　'\xe6\x88\x91\xe7\x88\xb1Python'是对 s 编码后的编码字符串，直接输出编码字符串会得到不一样的结果，因为实际上，'\xe6' 等被当作16进制转义字符来处理了。要想得到正确结果，需要先解码。
　　u'\u6211\u7231Python'是转义后的与 u 等价的unicode字符串
　　编码字符串
　　编码字符串，是指采用指定的编码格式对字符进行编码后得到的字符串。编码格式有很多中，例如 ascii、utf-8、gbk、gbk2312等。
　　编码字符串是纯 str 字符串，它表示原字符串的编码结果。直接输出编码字符串可能会与原来的字符串表示的值不一样，除非原来的字符串都是ASCII字符。
　　--脚本

-- coding: utf-8 --
　　s = '我'
　　s1 = '我爱Python'
　　print len(s)
　　print repr(s)
　　print s
　　print repr(s1)
　　print s1
　　--输出
　　3
　　'\xe6\x88\x91'
　　我
　　'\xe6\x88\x91\xe7\x88\xb1Python'
　　鎴戠埍Python
　　'\xe6\x88\x91' 和 '\xe6\x88\x91\xe7\x88\xb1Python' 就是编码字符串。在编码字符串中类似 '\xe6' 这种字符是Python中的16进制转义字符，被看作是一个字符，而不是4个字符。（Python转义序列：http://docs.python.org/2/reference/lexical_analysis.html#string-literals）
　　我们可以看到 s 的长度已经是3了，因为这里统计的是编码字符串的长度。
　　上面的例子有个小细节，字符串只包含单个字符的时候，print语句好像做了解码处理能直接输出正确的结果，但多个字符就会乱码。
　　这是为什么呢？
　　开始编码和解码
　　前面介绍了一些基本知识，现在开始来对字符串进行编码和解码了。
　　编码：
　　--脚本

-- coding: utf-8 --
　　u = u'我爱Python'
　　print 'encoded[utf-8]: ', repr(u.encode('utf-8'))
　　print 'encoded[gbk]: ', repr(u.encode('gbk'))
　　print 'encoded[ascii]: ', repr(u.encode('ascii'))
　　--输出
　　encoded[utf-8]: '\xe6\x88\x91\xe7\x88\xb1Python'
　　encoded[gbk]: '\xce\xd2\xb0\xaePython'
　　encoded[ascii]:
　　Traceback (most recent call last):
　　File "C:\Users\chw\Desktop\encoding.py", line 8, in
　　print 'encoded[ascii]: ', repr(u.encode('ascii'))
　　UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)
　　在上面的例子中，我们对一个unicode字符串采用了不同编码方式进行了编码，打印编码字符串。最后我们得到了一个错误，是因为ascii编码格式不能编码非ASCII字符。
　　对于str类型的字面量程序会自动做编码处理，所以就不要再去编一次码了。至于程序会采用何种编码格式要看设置，例如，在前面的脚本中，开头都有一个编码格式声明

-- coding: utf-8 --
　　这个声明告诉编译器该用什么编码格式处理str类型的字面量。在Python2.6以后的版本好像会根据保存源代码文件的格式来判断编码格式（没有声明的情况下），但先不深究了，总之开头指定编码格式应该是个好习惯。
　　解码：
　　str对象提供decode()方法来解码
　　

   --脚本　　

-- coding: utf-8 --
　　s = '我爱Python'
　　print repr(s)
　　print s
　　print s.decode('utf-8')
　　--输出
　　'\xe6\x88\x91\xe7\x88\xb1Python'
　　鎴戠埍Python #乱码了
　　我爱Python
　　前面我们讲过，str 字面量被自动编码成编码字符串，所以这里的 s 已经是编码后的编码字符串了，因此要输出 s 原来的字符，就需要解码。而开始我们指定了源文件的编码方式为utf-8，所以我们需要用utf-8格式来解码。
　　IDLE交互环境中的差异
　　在IDLE交互环境中，Unicode字面量好像不能正确的工作
　　

>>> u = u'我爱Python'　　
>>> u
　　
u'\xce\xd2\xb0\xaePython'
　　
>>> isinstance(u, unicode)
　　
True
　　
>>> print u
　　
ÎÒ°®Python
　　
>>>
　　

　　此例中，u实际上是表示'我爱Python'的编码字符串的unicode字符串，而不是'我爱Python'的unicode字符串了。也就是说，先将'我爱Python'编码成编码字符串，然后把编码字符串转换成unicode字符串。
　　在IDLE 交互环境中创建unicode对象的正确方式应该是下面这样：
　　

>>> u = unicode('我爱Python', 'gbk')　　
>>> print repr(u)
　　
u'\u6211\u7231Python'
　　
>>> print u
　　
我爱Python
　　

　　unicode函数的第一个参数指定编码字符串，第二个参数指定这个编码字符串的编码格式。函数在处理中，先用第二个参数指定的编码格式解码第一个参数，根据不同的编码格式，可以直接返回一个unicode字符串。
　　如果省略第二个参数，unicode函数会将ascii作为默认编码格式（不管是交互环境还是脚本中都是这样）。
　　第二个参数的值与你的环境配置有关，我在windows下面使用IDLE交互环境，默认的编码是gbk或者是gbk兼容的编码格式。
　　在脚本中unicode字面量能被解析成正确的unicode字符串，没有IDLE那种令人费解的问题
　　---脚本

-- coding: utf-8 --
　　u = u'我爱Python'
　　print repr(u)
　　print 'unicode: ', u
　　---输出
　　u'\u6211\u7231Python'
　　unicode: 我爱Python