查看: 626|回复: 0

[经验分享] 用python分析apache log

尚未签到

发表于 2017-1-2 11:08:47 | 显示全部楼层 |阅读模式

http://xiaojay.iteye.com/upload/attachment/83416/3126f090-737c-36a4-84c4-03ba8a0304ec.png

需求：
　　最近在浪点买了个虚拟主机，建了个小网站。想要通过分析apache log来得到来访着的信息，比如地理位置（具体到省份，这个是google analytics 没法提供的。）
实现：
　　代码及相关文件（其中ip数据库文件QQWry.Dat较大）
　　svn checkout https://xiaojaylib.googlecode.com/svn/trunk/alog alog
　　1 apachelogs.py 关门放google,找到几个相关python module，这个的比较好用。 http://www.coolsnap.net/kevin/?p=7。
　　主要是从log 每一行用正则表达式提取信息，以class ApacheLogLine的数据结构；
　　然后提供了个iterator,供我们写自己脚本分析。
　　2 qqip.py
　　从python-cn Google group上找到的qq ip库查询脚本 http://groups.google.com/group/python-cn/browse_thread/thread/aca85f87a923c2a8/
　　以及ip数据库文件QQWry.Dat
　　3 where.py 自己写的
　　用法：python where.py demo_log
　　输出项:日期时间访问者省份下载数据量
　　日期
　　效果
　　见首图

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表，该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有，请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意，请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息，一经发现立即删除。若您因此触犯法律，一切后果自负，我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集，我们仅提供一个展示、介绍、观摩学习的平台，我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责，亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏，不得用于商业或者其他用途，否则，一切后果均由您自己承担，我们对此不承担任何法律责任
7、如涉及侵犯版权等问题，请您及时通知我们，我们将立即采取措施予以解决
8、联系人Email：admin@iyunv.com 网址：www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址：https://www.yunweiku.com/thread-322807-1-1.html 上篇帖子： Apache目录访问控制下篇帖子： Apache日志分析脚本

使用道具举报