python FAQ 问答题集锦（二）

yanghongjun

　　1、python 操作excel
　　excel是人们日常惯用的电子文档格式，所以python对excel的操作显得格外重要。
　　用到python的excel库 xlutils，
　　资源地址：http://www.python-excel.org/
　　例子：
　　公司对游戏内数据的销售物品的汇率进行上传操作，每次上传之前需要对数据的格式进行验证。上传的文件就是excel。
　　该excel共6个列，具体格式如下：
　　格式描述：游戏ID + 物品ID + 物品名称  + 物品单价  + 物品有效期  + 物品类型
　　对格式的要求：
　　a、保证每一行，必须有6列数据
　　b、游戏ID + 物品ID 组成数据的主键，所以不允许 游戏ID + 物品ID 出现重复的情况
　　c、游戏ID ， 物品ID，必须是数字
　　d、物品单价，必须是合法的数字
　　代码如下：

class OverseaRate(object):
'''
海外游戏，物品数据汇率上传excel文件格式检查
'''
'''
2002    24748    灿烂绚羽装护腕    0    -1    暂无
2002    561    条纹小礼服腕    0    -1    暂无
2002    3955    精灵裙鞋子    0    -1    暂无
2002    4259    晚礼服鞋    0    -1    暂无
2002    4261    绣花鞋    0    -1    暂无
2002    4273    蝴蝶裙鞋子    0    -1    暂无
'''

INIT_PATTERN = '^\d+$'
PRICE_PATTERN = '^\d+(\.\d+)?$'
VALID_LENGTH = 6
def __init__(self, excelFile):
self.excelFile = excelFile
def checkOverseaRate(self):
rs = self.getDatas()
flag = self.checkPrimaryKey(rs)
if flag:
if self.checkFormat(rs):
print '检查完成，数据没有异常，可以上传'
def checkFormat(self, rs):
initProg = re.compile(self.INIT_PATTERN)
priceProg = re.compile(self.PRICE_PATTERN)
rowNum = 0
flag = True
for row in rs:
rowNum += 1
gameId = self.dealFloatNum(row[0])
itemId = self.dealFloatNum(row[1])
price = self.dealFloatNum(row[3])
gameIdMatch = initProg.match(gameId)
itemIdMatch = initProg.match(itemId)
priceMatch = priceProg.match(price)
if not self.match(gameIdMatch):
self.getErrorMsg('游戏ID', rowNum, gameId)
flag = False
if not self.match(itemIdMatch):
self.getErrorMsg('物品ID', rowNum, itemId)
flag = False
if not self.match(priceMatch):
self.getErrorMsg('物品单价', rowNum, price)
flag = False
return flag
def getErrorMsg(self, msg, rowNum, row):
print 'Error:' + msg + '，数据格式不正确！\t行数：', rowNum, ',错误数据内容：', row
def match(self, m):
return True if m else False
def dealFloatNum(self, row):
return row[0:-2:] if row.endswith('.0') else row
def checkPrimaryKey(self, rs):
s = Set()
rowNum = 0;
flag = True
for row in rs:
rowNum += 1
length = len(row)
if self.VALID_LENGTH != length:
tmp = abs(self.VALID_LENGTH - length)
self.getErrorMsg('数据条目相差了' + str(tmp) + '列数据', rowNum, row)
flag = False
continue
val = row[0], row[1]
if val not in s:
s.add(val)
else:
flag = False
print 'Error:数据重复！行数：', rowNum, '重复数据：', val
return flag
def getDatas(self):   
wb = open_workbook(self.excelFile)
s = wb.sheets()[0]
rs = []
for row in range(s.nrows):
values = []
for col in range(s.ncols):
val = s.cell(row, col).value
values.append(str(val))
rs.append(values)
return rs
 　　2、远程文件MD5校验
　　描述：远程服务器上面有很多的 .zip 包，是一次性部署到远程服务器上面的。为了保证数据的完整性和一致性，需要对这些 .zip包进行 MD5 校验。如果有MD5不一致的，就需要进行再次部署新的文件，直到MD5一致。
　　给定一个ip列表的 .txt文件，对这个文件中的所以IP进行扫描，分别到这些服务器的固定目录下载 .zip文件到本地目录，然后对这些本地的文件进行MD5校验。
　　patchIP.txt

127.0.0.1
127.0.0.2
127.0.0.3
127.0.0.4
127.0.0.5
127.0.0.6
127.0.0.7
　　python的代码如下：

class CheckMd5(object):   
def __init__(self, ipFile):
self.ipFile = ipFile
self.tmpUrl = r'D:\tmp'
self.srcName = 'newupdateinfo.zip'
def createTmpFolder(self, filePath):
if not os.path.isdir(filePath):
print 'start to create folder: ', filePath
os.mkdir(filePath)
def clearFolder(self, filePath):
print 'start to clear ', filePath
for root, dirs, fileNames in os.walk(filePath):
for fileName in fileNames:
tmpPath = os.path.join(root, fileName)
os.remove(tmpPath)
def downZips(self):
self.createTmpFolder(self.tmpUrl)
self.clearFolder(self.tmpUrl)
count = 0
for line in open(self.ipFile):
line = line.strip()
source = 'http://' + line + '/sgsj/' + self.srcName
print 'start to wget [' + source + ']'
cmd = r'"D:\Program Files (x86)\GnuWin32\bin\wget" --directory-prefix=' + self.tmpUrl + ' ' + source
subprocess.Popen(cmd, shell=True).wait()
self.changeZipName(line)
count += 1
print 'count: ', count, ',\tip:', line, 'is over'
def changeZipName(self, line):
print '-------- start to rename -------'
old = os.path.join(self.tmpUrl, self.srcName)
new = os.path.join(self.tmpUrl, line + '.zip')
os.rename(old, new)
print 'old', old
print 'new', new
print '-------- finished renaming -----'
def createMd5List(self):
md5Set = Set()
for root, dirs, fileNames in os.walk(self.tmpUrl):
for fileName in fileNames:
filePath = os.path.join(root, fileName)
md5Str = self.createFileMd5(filePath)
print '%.500s\t:\t%s' % (filePath, md5Str if md5Str in md5Set else '\t-->\t' + md5Str)
md5Set.add(md5Str)

print '*' * 10, ' md5 result start ', '*' * 10
if 1 == len(md5Set):
print 'check finished: all md5 is the same one. [Successfully!]'
else:
print 'Error: found different md5 in result. Please check it. [Failure!]'
print '*' * 11, ' md5 result end ', '*' * 11
def createFileMd5(self, filePath):
'''
文件生成MD5码，不行用二进制流的形式open(f,'rb')读出数据，对它进行操作。
如果按照f.readlines()读取，那么文件无法保留原有的格式，造成MD5生成不一致。
'''
m = hashlib.md5()
with open(filePath, 'rb') as f:#必须用二进制格式读取 'rb'
b = f.read(1024)
while b != b'':  
m.update(b)  
b = f.read(1024)
#m.update(f.read()) # 可以采用这种形式，对于大于1024字节的文件效率不高，这里尝试每次读取 1024 字节
return m.hexdigest().upper()
if __name__ == '__main__':
checkMd5 = CheckMd5(r'E:\python_workspace\learningPython\src\sgcqip.txt')
checkMd5.downZips()
checkMd5.createMd5List()
 　　上面下载文件到本地，用到了一个 wget的工具，该工具模仿Linux下面的 wget ，下载地址： http://gnuwin32.sourceforge.net/packages/wget.htm
　　3、
　　4、
　　5、