设为首页 收藏本站
查看: 2913|回复: 6

[经验分享] apache 日志分析工具(webalizer、awstats)的使用

[复制链接]
累计签到:1 天
连续签到:1 天
发表于 2013-8-30 08:51:12 | 显示全部楼层 |阅读模式

在linux系统下,日志的作用是非常重要的,我们可以根据日志记录的内容来判断某服务的状态,用户访问的状况,日志还能帮助我们排查错误,查找我们系统的不安全因素等。当然,管理日志的方式很多,我们可以通过shell脚本实现管理。要实现更强大的日志管理功能,那我们不得不借助日志分析工具来实现,下面就介绍一下webalizer与awstat这两个日志分析工具的使用方法。

由于我的电脑上已经装了httpd服务,那我们以apache的日志分析为例,介绍这两个工具的使用方法:

webalizer 工具

下载地址:http://www.webalizer.org

Webalizer的特性:

1. 为是用C写的程序,所以其具有很高的运行效率。在主频为200Mhz的机器上,webalizer每秒钟可以分析10000条记录,所以分析一个40M大小的日志文件只需要15秒。

2. webalizer支持标准的一般日志文件格式(CommonLogfile Format);除此之外,也支持几种组合日志格式(Combined LogfileFormat)的变种,从而可以统计客户情况以及客户操作系统类型。并且现在webalizer已经可以支持wu-ftpd xferlog日志格式以及squid日志文件格式了。

3. 支持命令行配置以及配置文件。

4. 可以支持多种语言,也可以自己进行本地化工作。

5. 支持多种平台,比如UNIX、linux、NT, OS/2 和MacOS等。

Webalizer的具体使用:

要想使用一个软件工具,不进行安装你要使用什么东东呢,首先我们要进行安装,由于此软件是源码包,当然在安装前你要拆包的,然后进行什么的配置啊、编译啊、才能执行安装和使用的。

204641969.png

tar-jxvf webalizer-2.23-05-src.tar.bz2 -C /usr/local/src/将源码包拆解到/usr/local/src目录,此目录一般用于我们存放拆解的源码工具包,如果是内核的话一般要拆解到/usr/src目录(这也是linux下不成文的规定哦)

进入拆解后的目录进行相应的配置:

204743818.png

./configure--sysconfdir=/etc/webalizer.conf进行相应的配置,指明配置文件的存放目录。然后执行make编译和make install安装。默认情况下,我们的工具会安装在/usr/local目录下。

204806366.png

进入我们的配置文件的目录/etc/webalizer.conf/下:

204830709.png


204835578.png


由于,webalizer工具支持生成的图标可以基于web进行查看,而我们也开启了httpd服务,我们的站点为www.abc.com,因此我们可以通过web查看数据。由于要经常分析日志,我们将日志分析,做成系统的计划任务进行处理。我们将分析日志产生的数据和图片放置在/var/www/html/log目录下,我们首先创建这个目录:mkdir/var/www/html/log,然后我们去编写计划任务表:vim /etc/crontab

205230496.png

然后要去创建那个存放我们任务的目录喽:mkdir /etc/cron.weblog,接着切换到此目录,新建任务vim weblog

205254871.png


修改wblog脚本的权限为可执行

205308360.png


好了,到此我们只需要等结果来查看了,现在你可以以休息一下,去喝杯水了,五分钟后,你就可以看到相应的信息哦:

205323950.png


你还可以通过网页也进行查看哦:

205347992.png


Webalizer后面可以跟的参数的选项:

-h= 打印帮助信息

-v-V = 打印版本信息

-d= 打印附加调试信息

-Ftype = 日志格式类型. type= (clf | ftp | squid)

-i= 忽略历史文件

-p= 保留状态(递增模式)

-q= 忽略消息信息

-Q= 忽略所有信息

-Y= 忽略国家图形

-G= 忽略小时统计图形

-H= 忽略小时统计信息

-L= 忽略彩色图例

-lnum = 在图形中使用数字背景线

-mnum = 访问超时 (seconds)

-T= 打印时间信息

-cfile = 指定配置文件

-nname = 使用的主机名

-odir = 结果输出目录

-tname = 指定报告题目上的主机名

-aname = 隐藏用户代理名称

-rname = 隐藏访问链接

-sname = 隐藏客户

-uname = 隐藏URL

-xname = 使用文件扩展名

-Pname = 页面类型扩展名

-Iname = index别名

-Anum = 显示前几名客户类型

-Cnum = 显示前几名国家

-Rnum = 显示前几名链接

-Snum = 显示前几名客户

-Unum = 显示前几名URLs

-enum = 显示前几名访问页面

-Enum = 显示前几名不存在的页面

-X= 隐藏个别用户

-Dname = 使用dns缓存文件

-Nnum = DNS 进程数 (0=禁用dns)

Awstats工具

下载地址:http://awstats.sourceforge.net/

Awstats的介绍:

Awstats是一个优秀的基于Perl语言开发的WEB日志分析的分析工具,可以跨平台,界面友好,分析内容详尽,并且支持多语言的操作界面,是一个发展很快应用很广的日志分析工具。

安装环境:kunjiang安装awstats的环境是在rhrl 5.4,httpd-2.2.3基础上哦。当然喽,由于它的跨平台性它也支持freebsd和windows等平台,只要您的机器正确安装配置了perl环境,在linux下面可以使用光盘里面自带的rpm包安装perl,这里不多说。我使用的awstats是较新的版本awstats-6.6,当然你也可以下载最新的版本使用哦!

Awstats的安装过程:

1、perl环境的安装

使用rpm -qa |grep perl查看是否安装了perl相关的rpm包,如果没有安装的话,可以配置yum服务器(解决依赖关系,这里就不讲了,可以参考我的其他文章),使用yum install perl命令进行安装。

2、安装awstats

创建/usr/local/awstats目录,将awstats-6.6.tar.gz拆解到任意目录下,拷贝拆解目录下的所有内容到/usr/local/awstats目录下:

#mkdir  /usr/local/awstats

#tar–zxvf  ./awstats-6.6.tar.gz

#cp -R  ./awstats-6.6/*  /usr/local/awstats/

205406396.png

将包拆解并拷贝到/usr/local/awstas目录下,基本就完成了awstats的安装,然后就是配置

注意,您还需要自己手动创建两个目录,一个是/etc/awstats 和/var/lib/awstats 这两个目录都将在后面的配置中用到,一个用于存放站点日志分析的配置文件,一个用于存放日志数据信息。

3、配置awstats

awstats的配置使用awstats的配置工具/usr/local/awstats/tools/awstats_configure.pl 进行配置,首先用vi打开configure.pl文件,看看第一行有关perl运行环境的配置是否正确,然后运行下面的命令进行配置:

#/usr/local/awstats/tools/awstats_configure.pl

基本上整个配置过程很简单,回车和简单填写一些就结束了,awstats_configure.pl工具会自动修改您的apache配置,在apache的配置文件httpd.conf文件中自动修改下面信息

CustomLog/yourlogpath/yourlogfile common

CustomLog/yourlogpath/yourlogfile combined

这样的修改将让您的apache在记录日志的时候记录到更多可用于分析的内容,比如来访者的浏览器、来访者的身份等。

同时awstats_configure.pl还将自动在httpd.conf文件中添加下面内容:

Alias/awstatsclasses "/usr/local/awstats/wwwroot/classes/"

Alias/awstatscss "/usr/local/awstats/wwwroot/css/"

Alias/awstatsicons "/usr/local/awstats/wwwroot/icon/"

ScriptAlias/awstats/ "/usr/local/awstats/wwwroot/cgi-bin/"

OptionsNone

AllowOverrideNone

Orderallow,deny

Allowfrom all

这样配置awstats将可以通过web客户端访问。


另外,awstats_configure.pl还将根据安装过程中您的回答(要分析的网站名称)信息,自动生产/etc/awstats/awstats.yourdomain.conf文件,这里生成的文件是awstats.www.abc.com.conf文件,这个文件几乎不用修改,就可以了,如果您有些特殊的设置,可以自己修改该文件进行配置,我的配置文件里面最基本的几行配置内容如下:

LogFile="/var/log/httpd/access_log"

LogType=W

LogFormat=1

LogSeparator=""

SiteDomain="www.abc.com"

HostAliases="abc.comwww.abc.com 127.0.0.1 localhost"

DNSLookup=2

DirData="/var/lib/awstats"

DirCgi="/awstats"

DirIcons="/awstatsicons"

AllowToUpdateStatsFromBrowser=0

AllowFullYearView=2

.....

其他的都是默认设置,不用修改

这样,您就完成了awstas的安装和配置。

4、分析日志

完成awstats的配置以后,要让awstats开始第一次进行您的日志文件的分析,并存放awstats的数据库中,您需要运行下面的命令:

#/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update  -config=www.abc.com

205427766.png

这样,awstats就完成了第一次数据的导入,今后您只需要定期再次运行此命令即可进行增量的更新!现在把这个命令加到了系统计划任务表crontab中,让每隔5分钟运行一次,直接修改/etc/crontab

205443808.png

然后再创建/etc/cron.awstats目录,切换至此目录,创建计划任务,vimawstats:

205455706.png

修改awstats的权限为可执行:

205535108.png

至此,我们已经完成了全部的安装和配置,重启一下apache服务,在浏览器内输入http://www.abc.com/awstats/awstats.pl?config=www.abc.com即可访问:

205554817.png

由于,此工具的功能比较多,具体生成的数据的含义,这里我就不再多说,大家慢慢研究吧!




运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-8832-1-1.html 上篇帖子: apache 启动故障(httpd: apr_sockaddr_info_get() failed fo) 下篇帖子: apache+svn部署

尚未签到

发表于 2013-8-31 14:36:24 | 显示全部楼层
人生重要的不是所站的位置,而是所朝的方向!

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

尚未签到

发表于 2013-9-2 10:08:06 | 显示全部楼层
解释就是掩饰,掩饰就是编故事!

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

发表于 2013-9-3 01:47:17 | 显示全部楼层
如果有一双眼睛陪我一同哭泣,就值得我为生命受苦。

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

尚未签到

发表于 2013-9-4 15:43:39 | 显示全部楼层
我的id是假冒的,大家不要相信我是骗子。

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

发表于 2013-9-7 16:18:13 | 显示全部楼层
.其实我是一个天才,可惜天妒英才!

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

尚未签到

发表于 2013-9-9 07:00:00 | 显示全部楼层
解释就系掩饰,掩饰等于无出色,无出色不如回家休息!!!

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表