Nginx日志统计方案全过程

trsgw

本文主要记录下给予python的nginx日志统计过程，主要原因是最近系统经常遭到未知程序的疯狂爬数据，虽然做了防爬机制，但是还是必须要找出是哪些IP访问次数比较多。想到的办法就是通过分析ngxin日志，从而找出这些IP排行即可。具体方案的操作步骤包括：

• ngxin日志每日切割功能；
  
• 设置ngxin的日志格式；
  
• 编写python代码在每日切割之前统计下access.log中的IP访问次数并将统计结果录入MongoDB；
  
• 编写web查询MongoDB进行统计。
  
• 
  
  

一、nginx日志每日切割功能

该功能主要通过自己编写shell脚本实现，然后将shell脚本通过crontab设置任务周期。

shell脚本如下：

1 2 3 4 5 6 7 8 9 10

#!/bin/bash ## 零点执行该脚本 ## Nginx 日志文件所在的目录 LOGS_PATH=/usr/local/nginx/logs ## 获取昨天的 yyyy-MM-dd YESTERDAY=$(date -d ”yesterday” +%Y-%m-%d) ## 移动文件 mv ${LOGS_PATH}/access.log ${LOGS_PATH}/access_${YESTERDAY}.log ## 向 Nginx 主进程发送 USR1 信号。USR1 信号是重新打开日志文件 kill -USR1 $(cat /usr/local/nginx/nginx.pid)

加入crontab
0 0 * * * /bin/bash /usr/local/nginx/sbin/cut-log.sh

二、设置ngxin日志格式

打开nginx.conf配置文件，在server段中加入

1 2	log_format  access  '$remote_addr - $remote_user [$time_local] "$request"' '$status $body_bytes_sent "$http_referer"' '"$http_user_agent" $http_x_forwarded_for'; access_log /usr/local/nginx/logs/access.log access;

加入成功后重启ngxin
/usr/local/sbin/nginx -s reload  

三、编写python代码在每日切割之前统计下access.log中的IP访问次数并将统计结果录入MongoDB；

下载pymongo，上传到服务器，并安装

# tar zxvf pymongo-1.11.tar.gz
# cd pymongo-1.11
# python setup.py install
  python连接mongodb样例

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

$ cat conn_mongodb.py #!/usr/bin/python    import pymongo import random    conn = pymongo.Connection("127.0.0.1",27017) db = conn.tage #连接库 db.authenticate("tage","123") #用户认证 db.user.drop() #删除集合user db.user.save({'id':1,'name':'kaka','sex':'male'}) #插入一个数据 for id in range(2,10):     name = random.choice(['steve','koby','owen','tody','rony'])     sex = random.choice(['male','female'])     db.user.insert({'id':id,'name':name,'sex':sex}) #通过循环插入一组数据 content = db.user.find() #打印所有数据 for i in content:     print i

编写python脚本

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42

#encoding=utf8    import re    zuidaima_nginx_log_path="/usr/local/nginx/logs/www.zuidaima.com.access.log" pattern = re.compile(r'^\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}')    def stat_ip_views(log_path):     ret={}     f = open(log_path, "r")     for line in f:         match = pattern.match(line)         if match:             ip=match.group(0)             if ip in ret:                 views=ret[ip]             else:                 views=0             views=views+1             ret[ip]=views     return ret def run():     ip_views=stat_ip_views(zuidaima_nginx_log_path)     max_ip_view={}     for ip in ip_views:         views=ip_views[ip]         if len(max_ip_view)==0:             max_ip_view[ip]=views         else:             _ip=max_ip_view.keys()[0]             _views=max_ip_view[_ip]             if views>_views:                 max_ip_view[ip]=views                 max_ip_view.pop(_ip)            print "ip:", ip, ",views:", views     #总共有多少ip     print "total:", len(ip_views)     #最大访问的ip     print "max_ip_view:", max_ip_view    run()

上面程序运行结果:

1 2 3 4

ip: 221.221.155.53 ,views: 1 ip: 221.221.155.54 ,views: 2 total: 2 max_ip_view: {'221.221.155.54': 2}