python处理中文字符

lshboo

　　python里面默认的字符串都是ASCII编码，是string类型，ASCII编码处理中文字符是会出问题的。
　　python的内部编码格式是unicode，在字符串前加‘u’前缀也可直接声明unicode字符串，如 u'hello'就是unicode类型。
　　如果处理的字符串中出现非ascii码表示的字符，要想不出错，就得转成unicode编码了。具体的方法有：
　　decode()，将其他编码的字符串转换成unicode编码，如str1.decode('gb2312')，表示将gb2312编码的字符串str1转换成unicode编码；
　　encode()，将unicode编码转换成其他编码的字符串，如str2.encode('gb2312')，表示将unicode编码的字符串str2转换成gb2312编码；
　　unicode()，同decode()，将其他编码的字符串转换成unicode编码，如unicode(str3, 'gb2312')，表示将gb2312编码的字符串str3转换成unicode编码。
　　转码的时候一定要先搞明白字符串str是什么编码，然后decode成unicode，最后再encode成其他编码。
　　另外，对一个unicode编码的字符串在进行解码会出错，所以在编码未知的情况下要先判断其编码方式是
　　否为unicode，可以用isinstance(str, unicode)。
　　不仅是中文，以后处理含非ascii编码的字符串时，都可以遵循以下步骤：
　　1、确定源字符的编码格式，假设是utf8；
　　2、使用unicode()或decode()转换成unicode编码，如str1.decode('utf8')，或者unicode(str1, 'utf8');
　　3、把处理后字符串用encode()编码成指定格式。
　　#!/usr/bin/env python
　　#-*- coding:utf-8 -*-
　　import sys, os
　　import md5
　　destPath = r'h:\路径A\测试'
　　srcPath = r'h:\路径B\测试'
　　rstPath = r'h:\路径C\rst.txt'
　　#----------------------------------------------------------------------
　　def find_all_files(path):
　　'''''
　　'''
　　print '\r\r'
　　files = os.listdir(path.decode('utf8'))
　　fileslist = []
　　for ff in files:
　　ffPath = path + '\\' + ff
　　print ffPath,
　　if os.path.isfile(ffPath):
　　fileslist.append(ffPath)
　　print 'file'
　　elif os.path.isdir(ffPath):
　　print 'dir'
　　fileslist += find_all_files(ffPath)
　　else:
　　print 'parse error!', '\t', ffPath
　　return fileslist
　　#----------------------------------------------------------------------
　　def md5_list(path):
　　'''''
　　'''
　　filesList = find_all_files(path)
　　filesMd5 = {}
　　for ff in filesList:
　　try:
　　fp = open(ff, 'rb')
　　m = md5.md5()
　　strRead = ""
　　while True:
　　strRead = fp.read(8096)
　　if not strRead:
　　break
　　m.update(strRead)
　　strMd5 = m.hexdigest()
　　filesMd5[strMd5] = ff
　　fp.close()
　　except Exception, ex:
　　print ex
　　fp.close()
　　return filesMd5
　　if __name__=='__main__':

　　>　　sys.setdefaultencoding('utf-8')
　　print 'Begin.......'
　　srcFilesMd5 = md5_list(srcPath)
　　destFilesMd5 = md5_list(destPath)
　　rst = ''
　　for key in srcFilesMd5.keys():
　　if key not in destFilesMd5.keys():
　　fileName = srcFilesMd5[key]
　　rst = rst + fileName.encode('utf8') + '\r'
　　fp = open(rstPath, 'w')
　　fp.write(rst)
　　fp.close()
　　print '\nRun Over......'