设为首页 收藏本站
查看: 772|回复: 0

[经验分享] apache、nignx等日志分析工具

[复制链接]

尚未签到

发表于 2018-11-19 08:57:04 | 显示全部楼层 |阅读模式
  yum install goaccess
  如果提示找不到包的话,需要先安装epel源。
wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm rpm -Uvh epel-release-6*.rpm  或者直接rpm -Uvh http://mirrors.sohu.com/fedora-epel/6/x86_64/epel-release-6-8.noarch.rpm
  再使用yum install goaccess安装。
  安装GoAccess
  如果你是centos,使用yum:
  1
  yum install goaccess
  如果你的yum找不到goaccess,就先安装epel
  1
  2
  3
  wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
  wget http://rpms.famillecollet.com/enterprise/remi-release-6.rpm
  sudo rpm -Uvh remi-release-6*.rpm epel-release-6*.rpm
  GoAccess有两种使用方法,一种是直接在控制台显示和操作。
  当你要立马分析出今天早上10点到12点的IP访问情况的时候,直接在控制台敲命令是最快的。
  另外一种就是生成html文件或者数据文件。
  如果你希望每天管理的服务器集群能给你发送一个昨天访问日志的情况,这个就是不二选择了。
  控制台使用GoAccess
  goaccess的参数:
  -f : 需要解析的日志文件
  -a --agent-list : 在host模块是不是能点击IP出现这个IP的user-agentlist,就是出现如图的功能。
DSC0000.png

  -c --conf-dialog: 是否显示log和format配置对话窗口。
  就是下面的这个窗口
DSC0001.png

  这个窗口有很多可以研究的。
  首先,goaccess支持的日志格式有哪些?
  Common Log Format (CLF)
  通用日志格式,例子:
  127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326
  主机 用户身份 作者 [日期] "请求方法 请求路径 请求协议" 状态码 字节数
NCSA Commbined Log Format
  这个是Common Log Format的扩展,例子:
  125.125.125.125 - dsmith [10/Oct/1999:21:15:05 +0500] "GET /index.html HTTP/1.0" 200 1043 "http://www.ibm.com/" "Mozilla/4.05 [en] (WinNT; I)" "USERID=CustomerA;IMPID=01234"
  主机 用户身份 作者 [日期] "请求方法 请求路径 请求协议" 状态码 字节数 referrer 客户端代理 cookie
W3C
  IIS 4.0和5.0是使用这种格式的,例子如下:
  复制代码
#Software: Microsoft Internet Information Server 4.0
  #Version: 1.0
  #Date: 1998-11-19 22:48:39
  #Fields: date time c-ip cs-username s-ip cs-method cs-uri-stem cs-uri-query sc-status sc-bytes cs-bytes time-taken cs-version cs(User-Agent) cs(Cookie) cs(Referrer)
  1998-11-19 22:48:39 206.175.82.5 - 208.201.133.173 GET /global/images/navlineboards.gif - 200 540 324 157 HTTP/1.0 Mozilla/4.0+(compatible;+MSIE+4.01;+Windows+95) USERID=CustomerA;+IMPID=01234 http://yourturn.rollingstone.com/webx?98@@webx1.html
复制代码
CloudFront
  AWS上的日志格式
  自定义格式
  关于自定义格式所设置的参数说明在这里
  -d --with-output-resolver 在HTML输出或者json输出中开启IP 解析
  如果开启了-d,goaccess就会使用GEOIP来进行IP解析。
  -e --exclude-ip=
  Host模块中不需要被统计的IP,比如可以将爬虫的IP过滤掉
  -h --help 帮助文档
  -H --http-protocol 显示的时候是否带上HTTP协议信息
  -m --with-mouse 控制面板开启支持鼠标点击,带上了m之后,双击鼠标就相当于回车的操作
  -M --http-method 是否带上HTTP方法信息
  -H和-M带上之后效果为:
DSC0002.png

  -o --output-format=csv|json 输出为csv或者json形式
  -p --conf-file=
  指定配置文件,如果你有配置文件,配置文件中又恰巧设置了log-format和date,那么你就不会被强制进入到format对话框了。如果你没有设置的话,默认使用~/.goace***c。
  -q --no-query-string
  忽略请求的参数部分
  -r --no-term-resolver
  在Host模块中是否进行IP的解析。加上-r是禁止IP解析。
  --no-color
  输出无颜色标示
  --real-os
  展示真实的操作系统。在Operation System模块中,是否展示更详细的操作系统信息。
  如图:
DSC0003.png

  下面说说的是控制台的键盘操作:
  F1是打开帮助文档
  F5是刷新当前窗口
  q是退出当前窗口,直到退出程序
  o是进入选择条目
  0-9 是选择模块
  tab和shift+tab是在前后模块之前切换
  j和k是在模块内部条目切换
  s是模块内部条目排序方式
  ps:模块切换在右上角有当前模块的标示
  使用GoAccess生成文件
  说起GoAccess最让你爽的就是能生成html了,然后每天就可以看个统计报表。
  

DSC0004.png

使用方法:
显示在terminal的交互报表
# goaccess -f /data/wwwlogs/access_nginx.log生成html报表:
# goaccess -f access.log -a > report.html生成json报表:
# goaccess -f access.log -a -d -o json > report.json生成csv报表:
# goaccess -f access.log --no-csv-summary -o csv > report.csv





运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-636806-1-1.html 上篇帖子: 【SMTP 补录 & Apache服务】 下篇帖子: 【运维小分享】整理Apache日志
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表