python分析nginx日志的ip（来源）

周翔

#!/usr/bin/env python　　
#_*_coding:utf-8 _*_
　　
__author__ = 'gaogd'
　　

　　

　　
import MySQLdb as mysql
　　
import datetime
　　
import sys, os, urllib2, json
　　

　　
db = mysql.connect(user="root",passwd="xxxx@2015",db="intest",host="192.168.10.12") #数据库连接信息
　　
db.autocommit(True)
　　
cur = db.cursor()
　　
cur.execute('set names utf8')
　　
addtime = datetime.datetime.now()
　　

　　
ips = {}        #ip作为字典的key，访问次数做value
　　
iplist = []     #遍历日志中的ip，相同的ip也会记录到列表，插入数据库
　　
fh = open("./access_test.log", "r").readlines()                                                               #我的是把日志和代码在一个目录下面
　　
for line in fh:
　　
    ip = line.split(" ")[0]
　　
    print ip
　　
    if 6 < len(ip) <=15:
　　
        ips[ip] = ips.get(ip, 0) + 1
　　

　　
        alist = iplist.append(ip)
　　
for key,value in ips.items():
　　
    listinfo = str(ips)
　　
    sql = 'insert into ipinfo(ipaddress,countip) value ("%s","%s")' % (key,value)
　　
    cur.execute(sql)
　　

　　
def get_ip_area(ip):
　　
    try:
　　
        apiurl = "http://ip.taobao.com/service/getIpInfo.php?ip=%s" %ip
　　
        content = urllib2.urlopen(apiurl).read()
　　
        data = json.loads(content)['data']
　　
        code = json.loads(content)['code']
　　
        if code == 0: # success
　　
            country=(data['country'])
　　
            area = (data['area'])
　　
            region = (data['region'])
　　
            city = (data['city'])
　　
            ip = (data['ip'])
　　
            print(data['country']),(data['area']),(data['region']),(data['city']),(data['ip'])
　　
            sql = 'insert into whereip (country,area,region,city,ip,time) value ("%s","%s","%s","%s","%s","%s")' % (country.encode("utf-8"),area.encode("utf-8"),region.encode("utf-8"),city.encode("utf-8"),ip.encode("utf-8"),addtime)
　　
            cur.execute(sql)
　　
            print 'sql:',sql
　　
        else:
　　
            print data
　　
    except Exception as ex:
　　
        print ex
　　

　　
if __name__ == '__main__':
　　
    for ip in iplist:
　　
        get_ip_area(ip)
　　

　　

　　
################################################
　　
'''
　　

　　

　　
radiansdict.get(key, default=None)
　　
返回指定键的值，如果值不在字典中返回default值
　　

　　
'''