python分析accesslog并排序
最近面试的一个问题，面的时候脑子卡壳了，面完刚出公司就想起来，很尴尬。于是记录一下。数据是这样的：121.31.95.182 - - "GET /user.php?do=GetGiftAward&phpp=ANDROID_91&phpl=ZH_CN&pvc=1.5.3&pvb=2014-10-22%2017%3a17%3a26&v=9099 HTTP/1.1" 200 250 "-" "Dalvik/1.6.0 (Linux; U; Android 4.4.4; HM NOTE 1LTE MIUI/V6.6.1.0.KHICNCF)"很普通的nginx日志问题是： 如果这样的数据有100行怎么找出日志里IP次数出现最多的5个，1W行呢。
思路其实很简单： 打开一个文件句柄，每次读一行，然后通过split切割出ip，记录到字典中，当时面试的时候卡在排序了，脑子一片糊涂- -。 其实很简单 用sorted函数 以value当成排序的key 排好序后翻转一下，这样出现次数多的就在前面了。然后顺序打印即可
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#!/usr/bin/env python
data={}
fp=open('/tmp/access.log','rb')
while True:
fdata=fp.readline()
if not fdata :
break
ip = fdata.split()
if ip in data:
data+=1
else:
data=1
#sort
print sorted(data.items(),key=lambda d:d,reverse=True)
PS：shell版本cat /tmp/access.log | awk '{print $1}' | sort | uniq -c| sort -k1nr|head -5
页:
[1]