python 种字符编码的问题

506629361

　　Python中 u'吴'和'吴'有什么区别？
2009-04-27 00:20

这是我在水木问的一个问题 【 在 wuyeguo (风中飘絮) 的大作中提到: 】 : 被Python的字符编码给搞糊涂了 : 下面是我做的一些测试 : >>> len("吴".decode("utf8").encode("gb18030")) : 2 : >>> len("吴".decode("utf8").encode("utf8")) : 3 : >>> len("吴".decode("utf8")) : 1 : 上面的长度，是什么导致的呢？ : >>> a = u"吴" : >>> b = "吴".decode("utf8") : >>> id(a) : 3085915248L : >>> id(b) : 3085916040L : 这里为什么a和b的id不一样呢？ : >>> a : u'\u5434' : >>> b : u'\u5434' : >>> a == b : True : >>> e="a" : >>> f="a" : >>> id(e) : 3086135712L : >>> id(f) : 3086135712L : >>> g=u"吴" : >>> id(g) : 3085916136L : >>> h=u"吴" : >>> id(h) : 3085916208L : >>> hash(g) : 1807260213 : >>> hash(h) : 1807260213 : >>> hash(e) : -468864544 : >>> hash(f) : -468864544 : 环境 : Python 2.5.1 (r251:54863, Sep 17 2007, 02:13:54) : [GCC 4.1.1 20070105 (Red Hat 4.1.1-52)] on linux2 : 谢谢 下面是水木的xxxss同学的精彩回答 >>> print repr(u"吴".encode("gb18030")) '\xce\xe2' 这说明你看到的是汉字或者乱码，而python看到的是一个上面这两个字节的字符串对象。 对于python2.5而言,字符类型就两种，str和unicode。 而不是100多种，上面这个是什么类型？ >>> type('\xce\xe2') <type 'str'> >>> type('\xce') <type 'str'> 这说明啥？这个字符串显然是str不是unicode.那长度呢 >>> len('\xce') 1 >>> len('\xe2') 1 >>> len('\xce\xe2') 2 这是很显然的，对不对，对python而言，他并不知道你这两个字节的东西是个汉字， 他也不知道你这个东西是个什么编码格式的，它只知道这是两个字符长度的str。 同样的： >>> print repr(u"吴".encode("utf8")) '\xe5\x90\xb4' >>> print type(u"吴".encode("utf8")) <type 'str'> 这说明utf8编码后的这个字符串是3个字符长度的str，对不对？ python并不会给你100多种编码的字符每个给你一个类型，比如utf8的叫utf8str, gb18030的叫gb18030str，不会，他们都是一种类型：str，所以，上面两种编码的字符， 对于python而言，只是'\xce\xe2'和'\xe5\x90\xb4'的区别。 >>> print repr(u"吴") u'\u5434' 看到了吧，这次是这样一个字符 >>> print type(u"吴") <type 'unicode'> 这说明这是个unicode类型了，并且，这个unicode类型的对象的长度是1 现在明白了吧，对你来讲，字符之间的差别是编码方式，对python来讲，差别是类型。 它只是给你提供了一些转换编码的方法，但不同的只有两种类型。 第二个问题： >>> help(id) Return the identity of an object. This is guaranteed to be unique among simultaneously existing objects. (Hint: it's the object's memory address.) 人家说的很明白了，返回的是object的内存地址，同时存在的对象之间是独立的。 你用u"吴"的时候，和你用"吴".decode("utf8")的时候的"吴"，对于python而言， 理论上时独立的，因为这是两次执行过程，并没有什么相关性，完全可以理解为 这是两个object，只是这两个str的值一样罢了，python并不保证两个值一样的object 就放在同一个内存地址内。 当然了，对于某些类型的对象，比如小int和简单ascii str，python为了优化， 会使用同样的内存地址存同样的值，但这并不保证。所以尽量不要去考虑这个。 你大可以认为，同一个生产线出来的轮子，长的再一样，它也是两个轮子，放在不同的 位置，占用不同的空间。 所以: >>> id(u"吴") 11577488 >>> id(u"吴") 11577776 >>> id("吴") 13245696 >>> id("吴") 13650880 >>> id("吴") 13304864 >>> id("吴") 13245696 至于"=="的判断，这个并不是根据"=="的统一定义来的，而是根据每个不同的类型对于 __eq__ 这样的method的实现来的。所以并不一定说id一样就True，或者值一样就True 比如str类型，python对"__eq__"的定义是内容（也就是值)相同就返回True 所以才会有: >>> a = '吴' >>> b = '吴' >>> a '\xce\xe2' >>> b '\xce\xe2' >>> id(a) 13745216 >>> id(b) 13743232 >>> id(a) == id(b) False >>> a == b True 而对于基类object而言，"__eq__"就很简单了，id不同就不同 >>> x = object() >>> y = object() >>> x == y False >>> x <object object at 0x00B20468> >>> y <object object at 0x00B20470>