使用python下载日志

falldog

第一步：主要是读取配置文件的内容，以及把各种数据存放到文件里

#下载日志
def down():
downloadfile=os.path.join(util.FileUtil.getconfig("info", "downloadfile"))#需要下载的文件列表
downloadpath=os.path.join(util.FileUtil.getconfig("info", "downloadpath"))
logpath=os.path.join(util.FileUtil.getconfig("info", "logpath"))
today=util.DateUtil.getYesterday(0)#今天
yesterday=util.DateUtil.getYesterday(1)#昨天
#    befor=util.DateUtil.getYesterday(2)#前天   
successdownlog=os.path.join(logpath,"dwonsuccess"+str(today)+".txt")#记录下载成功的文件
successdownfile=os.path.join(logpath,"dwonsuccess"+str(yesterday)+".txt")#记录下载成功的文件   
#错误日志按时间进行区分,这个采用哪中方法需要订策略
#beforlog=os.path.join(logpath,str(befor)+"downerror.txt")#前天的日志错误下载列表，主要是读取
#yesterdaylog=os.path.join(logpath,str(yesterday)+"downerror.txt")#昨天的日志错误下载列表，主要是写入     
#    downlist=getDownloadList(downloadfile,beforlog,successdownfile)#把前天下载错误的日志和昨天需要下载的日志进行合并   
#    for li in downlist:
#        wgetFile(li,downloadpath,successdownfile,yesterdaylog)
errorlog=os.path.join(logpath,"downerror.txt")#下载的错误日志
#下载地址列表
downlist=getDownloadList(downloadfile,errorlog,successdownfile,successdownlog)
for li in downlist:
wgetFile(li,downloadpath,successdownlog,errorlog)

第二步：通过各个文件里获取需要下载的列表

#获取下载列表
#downfile是下载文件的列表
#errordownfile错误日志
#successdownfile下载成功的记录
#successdownlog 当天下载成功的记录，当停止再执行时不会重复下载已经成功的日志
#print getDownloadList("c:\\ip.txt","c:\\ip1.txt")
def getDownloadList(downfile,errordownfile,successdownfile,successdownlog):
#从配置的文件里获取下载列表
li=util.FileUtil.readfiletolist(downfile)
#从错误的下载文件里获取下载列表
errorli=util.FileUtil.readfiletolist(errordownfile)
#成功的下载列表
successli=util.FileUtil.readfiletolist(successdownfile)
#成功的下载列表
todaysuccessli=util.FileUtil.readfiletolist(successdownlog)
#更新错误的下载列表文件
util.FileUtil.coverLine(errordownfile, errorli, successli)
util.FileUtil.coverLine(errordownfile, errorli, todaysuccessli)
#合并下载列表的文件以及下载错误的文件里的列表
ret=[]
map={}
for line in li:
map[line]=line
ret.append(line)
for line in errorli:
if line in map.keys():
pass           
else:
map[line]=line
ret.append(line)
for line in successli:
if line in map.keys():
del(map[line])
ret.remove(line)
else:
pass
for line in todaysuccessli:
if line in map.keys():
del(map[line])
ret.remove(line)
else:
pass
return ret;


第三步:下载日志的函数（通过wget下载，需要把wget.exe复制到目录下）：

#下载文件
#wgetFile('http://localhost/test/1.zip','c:\\','log.zip')
def wgetFile(url,path,successdowloadfile,errordowloadfile):
"""
下载url指定的网络资源对象
return result
0 成功
1 wget error, 2 User interrupt, 3 Execution failed   
"""
filename=util.FileUtil.getFileNameByUrl(url)
#-t2试两次；-c是继续,相当于断点续传；-o是输出到wget.log日志中；-T是timeout，超时时间；--waitretry 等待5m检索
#-U参数还不是很清楚；-O是把url下载了放到那个目录下并重新命名。
cmd='wget -t2 -c -o wget.log -T2 --waitretry=5 -U downyclog -O '+path+filename+' '+url+''
try:
retcode = subprocess.call(cmd, shell = True)
#os.system(cmd)
print url,"wget return code:",retcode
if retcode!=0 :
print "\nFailed"
util.FileUtil.appendfile(errordowloadfile, url+"\n")
return 1
else:
util.FileUtil.appendfile(successdowloadfile, url+"\n")
except KeyboardInterrupt,e:
print >>sys.stderr, "User Interrupt!",e
util.FileUtil.appendfile(errordowloadfile, url+"\n")
return 2
except OSError,e:
print >>sys.stderr, "Execution failed!",e
util.FileUtil.appendfile(errordowloadfile, url+"\n")
return 3   
print "\tOK"
return 0


附件为在myeclipce下建的python项目，程序里只是进行了日志的下载以及解压缩的处理，并没有对日志进行解析，用python只能把原始数据导入到数据库中，在数据库中进行聚合的操作，具有一些局限性，对于url进行统计的数据可以实现，但对于log4j进行统计的数据比较困难，例如;对access日志可以用python进行解析，把url按参数解析为一些字段，这个需要看具体的业务逻辑，比较重要的参数需要放到单独的字段中进行统计，这样可以加快数据库的运算，当然数据量比较大的话最好是一天一个表。对于广告日志使用python做解析并不太合适，主要是一个广告的属性比较多，需要统计的比较杂，这个需要看需求，用python实现比较麻烦一些。
日志解析可以使用c语言来做，这样应该可以提高整体的效率，可能存在的瓶颈一是在数据库，二是在解析日志，三是下载。数据库的优化不是很懂，知道的有分表，索引之类的优化；
下载和网速有关系，这个一般在内网，因此这里应该不会有问题；最后在解析日志这里，使用不同的语言会有比较大的差异，主要是和各种语言的执行速度有关系，知道的c语言应该是特别快的一种吧。