在linux系统下,日志的作用是非常重要的,我们可以根据日志记录的内容来判断某服务的状态,用户访问的状况,日志还能帮助我们排查错误,查找我们系统的不安全因素等。当然,管理日志的方式很多,我们可以通过shell脚本实现管理。要实现更强大的日志管理功能,那我们不得不借助日志分析工具来实现,下面就介绍一下webalizer与awstat这两个日志分析工具的使用方法。 由于我的电脑上已经装了httpd服务,那我们以apache的日志分析为例,介绍这两个工具的使用方法: webalizer 工具 下载地址:http://www.webalizer.org Webalizer的特性: 1. 为是用C写的程序,所以其具有很高的运行效率。在主频为200Mhz的机器上,webalizer每秒钟可以分析10000条记录,所以分析一个40M大小的日志文件只需要15秒。 2. webalizer支持标准的一般日志文件格式(CommonLogfile Format);除此之外,也支持几种组合日志格式(Combined LogfileFormat)的变种,从而可以统计客户情况以及客户操作系统类型。并且现在webalizer已经可以支持wu-ftpd xferlog日志格式以及squid日志文件格式了。 3. 支持命令行配置以及配置文件。 4. 可以支持多种语言,也可以自己进行本地化工作。 5. 支持多种平台,比如UNIX、linux、NT, OS/2 和MacOS等。 Webalizer的具体使用: 要想使用一个软件工具,不进行安装你要使用什么东东呢,首先我们要进行安装,由于此软件是源码包,当然在安装前你要拆包的,然后进行什么的配置啊、编译啊、才能执行安装和使用的。
tar-jxvf webalizer-2.23-05-src.tar.bz2 -C /usr/local/src/将源码包拆解到/usr/local/src目录,此目录一般用于我们存放拆解的源码工具包,如果是内核的话一般要拆解到/usr/src目录(这也是linux下不成文的规定哦) 进入拆解后的目录进行相应的配置:
./configure--sysconfdir=/etc/webalizer.conf进行相应的配置,指明配置文件的存放目录。然后执行make编译和make install安装。默认情况下,我们的工具会安装在/usr/local目录下。
进入我们的配置文件的目录/etc/webalizer.conf/下:
由于,webalizer工具支持生成的图标可以基于web进行查看,而我们也开启了httpd服务,我们的站点为www.abc.com,因此我们可以通过web查看数据。由于要经常分析日志,我们将日志分析,做成系统的计划任务进行处理。我们将分析日志产生的数据和图片放置在/var/www/html/log目录下,我们首先创建这个目录:mkdir/var/www/html/log,然后我们去编写计划任务表:vim /etc/crontab
然后要去创建那个存放我们任务的目录喽:mkdir /etc/cron.weblog,接着切换到此目录,新建任务vim weblog
修改wblog脚本的权限为可执行
好了,到此我们只需要等结果来查看了,现在你可以以休息一下,去喝杯水了,五分钟后,你就可以看到相应的信息哦:
你还可以通过网页也进行查看哦:
Webalizer后面可以跟的参数的选项: -h= 打印帮助信息 -v-V = 打印版本信息 -d= 打印附加调试信息 -Ftype = 日志格式类型. type= (clf | ftp | squid) -i= 忽略历史文件 -p= 保留状态(递增模式) -q= 忽略消息信息 -Q= 忽略所有信息 -Y= 忽略国家图形 -G= 忽略小时统计图形 -H= 忽略小时统计信息 -L= 忽略彩色图例 -lnum = 在图形中使用数字背景线 -mnum = 访问超时 (seconds) -T= 打印时间信息 -cfile = 指定配置文件 -nname = 使用的主机名 -odir = 结果输出目录 -tname = 指定报告题目上的主机名 -aname = 隐藏用户代理名称 -rname = 隐藏访问链接 -sname = 隐藏客户 -uname = 隐藏URL -xname = 使用文件扩展名 -Pname = 页面类型扩展名 -Iname = index别名 -Anum = 显示前几名客户类型 -Cnum = 显示前几名国家 -Rnum = 显示前几名链接 -Snum = 显示前几名客户 -Unum = 显示前几名URLs -enum = 显示前几名访问页面 -Enum = 显示前几名不存在的页面 -X= 隐藏个别用户 -Dname = 使用dns缓存文件 -Nnum = DNS 进程数 (0=禁用dns) Awstats工具 下载地址:http://awstats.sourceforge.net/ Awstats的介绍: Awstats是一个优秀的基于Perl语言开发的WEB日志分析的分析工具,可以跨平台,界面友好,分析内容详尽,并且支持多语言的操作界面,是一个发展很快应用很广的日志分析工具。 安装环境:kunjiang安装awstats的环境是在rhrl 5.4,httpd-2.2.3基础上哦。当然喽,由于它的跨平台性它也支持freebsd和windows等平台,只要您的机器正确安装配置了perl环境,在linux下面可以使用光盘里面自带的rpm包安装perl,这里不多说。我使用的awstats是较新的版本awstats-6.6,当然你也可以下载最新的版本使用哦! Awstats的安装过程: 1、perl环境的安装 使用rpm -qa |grep perl查看是否安装了perl相关的rpm包,如果没有安装的话,可以配置yum服务器(解决依赖关系,这里就不讲了,可以参考我的其他文章),使用yum install perl命令进行安装。 2、安装awstats 创建/usr/local/awstats目录,将awstats-6.6.tar.gz拆解到任意目录下,拷贝拆解目录下的所有内容到/usr/local/awstats目录下: #mkdir /usr/local/awstats #tar–zxvf ./awstats-6.6.tar.gz #cp -R ./awstats-6.6/* /usr/local/awstats/
将包拆解并拷贝到/usr/local/awstas目录下,基本就完成了awstats的安装,然后就是配置 注意,您还需要自己手动创建两个目录,一个是/etc/awstats 和/var/lib/awstats 这两个目录都将在后面的配置中用到,一个用于存放站点日志分析的配置文件,一个用于存放日志数据信息。 3、配置awstats awstats的配置使用awstats的配置工具/usr/local/awstats/tools/awstats_configure.pl 进行配置,首先用vi打开configure.pl文件,看看第一行有关perl运行环境的配置是否正确,然后运行下面的命令进行配置: #/usr/local/awstats/tools/awstats_configure.pl 基本上整个配置过程很简单,回车和简单填写一些就结束了,awstats_configure.pl工具会自动修改您的apache配置,在apache的配置文件httpd.conf文件中自动修改下面信息 CustomLog/yourlogpath/yourlogfile common 为 CustomLog/yourlogpath/yourlogfile combined 这样的修改将让您的apache在记录日志的时候记录到更多可用于分析的内容,比如来访者的浏览器、来访者的身份等。 同时awstats_configure.pl还将自动在httpd.conf文件中添加下面内容: Alias/awstatsclasses "/usr/local/awstats/wwwroot/classes/" Alias/awstatscss "/usr/local/awstats/wwwroot/css/" Alias/awstatsicons "/usr/local/awstats/wwwroot/icon/" ScriptAlias/awstats/ "/usr/local/awstats/wwwroot/cgi-bin/" OptionsNone AllowOverrideNone Orderallow,deny Allowfrom all 这样配置awstats将可以通过web客户端访问。
另外,awstats_configure.pl还将根据安装过程中您的回答(要分析的网站名称)信息,自动生产/etc/awstats/awstats.yourdomain.conf文件,这里生成的文件是awstats.www.abc.com.conf文件,这个文件几乎不用修改,就可以了,如果您有些特殊的设置,可以自己修改该文件进行配置,我的配置文件里面最基本的几行配置内容如下: LogFile="/var/log/httpd/access_log" LogType=W LogFormat=1 LogSeparator="" SiteDomain="www.abc.com" HostAliases="abc.comwww.abc.com 127.0.0.1 localhost" DNSLookup=2 DirData="/var/lib/awstats" DirCgi="/awstats" DirIcons="/awstatsicons" AllowToUpdateStatsFromBrowser=0 AllowFullYearView=2 ..... 其他的都是默认设置,不用修改 这样,您就完成了awstas的安装和配置。 4、分析日志 完成awstats的配置以后,要让awstats开始第一次进行您的日志文件的分析,并存放awstats的数据库中,您需要运行下面的命令: #/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.abc.com
这样,awstats就完成了第一次数据的导入,今后您只需要定期再次运行此命令即可进行增量的更新!现在把这个命令加到了系统计划任务表crontab中,让每隔5分钟运行一次,直接修改/etc/crontab
然后再创建/etc/cron.awstats目录,切换至此目录,创建计划任务,vimawstats:
修改awstats的权限为可执行:
至此,我们已经完成了全部的安装和配置,重启一下apache服务,在浏览器内输入http://www.abc.com/awstats/awstats.pl?config=www.abc.com即可访问:
由于,此工具的功能比较多,具体生成的数据的含义,这里我就不再多说,大家慢慢研究吧!
|