python 编码总结

圣凤凌霜

一. 基本知识
　　1. 如果py文件里面不指定源文件需要用到的编码格式的话，python解析器就会用默认的编码去解析，一般是ASCII， 所以如果此时源文件有中文的话就会报错，‘SyntaxError: Non-ASCII character......’, 因此一定要显示指定编码格式，方法是在py文件第二行加入此句：' #-*- coding: gbk -*-'  ， 就指定编码格式为gbk了。当然写法上还可以是满足这样的正则表达式的句子： 'coding[:=]\s*([-\w.]+)'
　　注意： 一般声明的coding要和文件编码一致，这样最稳妥！
　　2.  python中 s = ‘中文' 和 s = u'中文'的区别：
　　s = '中文' 要变成python解析器识别的unicode，那就要在运行时才能。因为解析器会在运行时把s变量decode成unicode。
　　而s = u'中文'则是在编译的时候就变成unicode了，并且会保存在对应的pyc文件中。
　　所以两者的区别其实就是什么时候变成unicode，而且作为参数传递时有u的直接就是unicode对象了，而没有u的只是python中的普通的str， 需要变成unicode来用时需要调用decode或者unicode函数来处理。两者的联系就是他们的最终结果都是unicode。
　　3. 文件的编码
　　3.1 在编码问题中，其实文件本身的编码也是很重要的。如何查看？用vim的话，可以通过在vimrc文件加入'set fileencodings=ucs-bom,utf-8,cp936,gb18030,big5,euc-jp,euc-kr,latin1' 来检测文件的编码格式，会按照你列的编码顺序来检测该文件的编码。具体做法是加入那句以后，用vim打开该文件后，用set fileencoding来查看。
　　3.2 文件的编码其实就决定了你在文件中写一句 s = '中文'的时候，这个s的值是什么编码。也就是说，如果文件编码是gbk，那么s就是gbk编码，你要变成unicode来用就要s.decode('gbk').
　　4. python文件中的中文有人是建议都用u'xx'的写法变成unicode，然后在需要转换显示的时候才转，我表示同意。
二. python解析源文件的流程
　　

　　流程图 reference  ： http://www.python.org/dev/peps/pep-0263/
三. 遇到的问题
　　遇到的问题的例子比较多，这里不一一列举了，找了几个比较好的参考资料
　　1.  http://zzjjzzgggg.iteye.com/blog/311666
　　2. http://zzjjzzgggg.iteye.com/blog/309409
　　3. http://www.iteye.com/topic/560229
　　4. http://www.iteye.com/topic/699510
　　5. 用simplejson 来转换数据：
　　simplejson提供两类API:
　　1) loads: 将python的object转化成字符串（<type: 'str'>)
　　2) dumps : 将字符串转化成python的object.
　　loads明显是有个encode的过程， 那么肯定有个encoding来指定encode时候的编码， 不指定默认是用utf-8的;
　　同样dumps明显就有个decode过程， 同样有个encoding来指定， 默认也是为utf-8;
　　以前遇到一个问题是， 通过http接口获取过来的json数据编码是gbk的， 但是我在loads的时候没有指定encoding，
　　结果出现乱码， 找了很久才发现了问题， 所以我警惕之后调用这2个接口的时候都最好显示指定encoding，这样
　　虽然麻烦了， 但是对于查找问题和代码可读性方面都是有好处的！
　　经验是如果遇到编码问题，可以从一下几个方面去思考：
　　1）文件本身的 编码
　　2）声明的编码
　　3）如果数据是从网络获取的或者其他途径，反正就不是自己的，那么建议代码中加入try...except  UnicodeEncodeError, UnicodeDecodeError 之类的代码做好防范。
　　4）建议采用utf-8编码，如果实在是对数据量有要求的可以用gbk，因为小一点。
　　欢迎拍砖！