apache的日志管理和统计分析

Q132284591

apache的日志管理和统计分析

对于所有公司或icp来说，在保证网站稳定正常运行外，还需要了解网站访问量和分析报表，这对于了解和监控网站的运行状态，对于提高网站的服务能力和服务水平似乎必不可少的。通过对web服务器的日志文件进行分析和统计，能够有效的掌握系统运行的情况及站点内容的被访问情况，加强对整个站及其内容的维护与管理；
管理web网站需要监视其速度、web内容传送，服务器每天的吞吐量，和web网站的外来访问，了解网站各个页面
的访问情况，根据页面的点击率来改善网页的内容和质量，提高内容的可读性，跟踪包含有商业交易的步骤以及管理web网站幕后的数据；

1、日志的分类
apache的标准中规定了4类日志；
*错误日志
*访问日志
*传输日志
*cookie日志
其中传输日志和cookie日志在apache2.0时已经取消了，只讨论错误日志和访问日志；
2、日志相关配置指令；
apache中有如下4条与日志相关的配置指令；
指令                 格式                                                                说明
-----------------------------------------------------------------------------
ErrorLog        错误日志文件名;                                          指定错误日志存放路径
-----------------------------------------------------------------------------
LogLevel         错误日志记录等级;                                    指定错误日志的记录等级
-----------------------------------------------------------------------------
LogFormat      记录格式说明串，格式昵称;                     为一个日志记录格式命名
-------------------------------------------------------------------------------
CustomLog    访问日志文件名      格式昵称                   指定访问日志存放路径和记录格式；
                         “|程序名 访问日志文件名”格式昵称       指定访问日志有指定程序生成并制定格式（管道日志）
-------------------------------------------------------------------------------
前两条是配置错误日志，后两条是配置访问日志

3、配置错误日志；
1）、apache默认的错误日志配置
ErrorLog "logs/error_log"
LogLevel warn
配置错误日志只需要说明日志文件的存放路径和日志记录登记即可；
2）、日志记录等级；

紧急程度   等级      说明
-----------------------------------------------------------------
1         Emerg          出现紧急情况时的系统不可用，如系统宕机等
------------------------------------------------------------------
2         A lert             需要立即引起注意的情况
------------------------------------------------------------------
3        Crit危险情况的警告
-----------------------------------------------------------------
4         Error               除了emerg、alert、crit的其他错误；
--------------------------------------------------------------
5         warn         警告信息
---------------------------------------------------------------
6         notice       需要引起注意的情况，但不如error warn重要
------------------------------------------------------------------
7        info         值得报告的一般信息
-------------------------------------------------------------------
8         debug        由运行与debug模式的程序所产生的消息
---------------------------------------------------------------

如果指定了登记warn，那么就记录紧急程度为1至5的所有信息；

[Fri May 07 10:32:00 2010] [error] [client 192.168.0.10] File does not exist: /usr/local/apache2/htdocs/favicon.ico
[Fri May 07 10:32:03 2010] [error] [client 192.168.0.10] File does not exist: /usr/local/apache2/htdocs/favicon.ico

每一行的错误日志都有
日期和时间         错误等级            错误消息

4、配置访问日志
1）、访问日志的分类；
为了便于分析apache的访问日志，apace的默认配置文件中，按记录的信息不同，将访问日志分为4类；并由LogFormat指令定义了昵称
格式分类               格式昵称           说明
--------------------------------------------------------------------
普通日志格式      common          大多数日志分析软件都支持这种格式
（common log format.CLF)
--------------------------------------------------------------------
参考日志格式       referer             记录客户访问站点的用户身份
(referer log format)
--------------------------------------------------------------------
代理日志格式      agent               记录请求的用户代理
(agent log format)
--------------------------------------------------------------------
综合日志格式       combined        综合以上三种日志信息
(combined log format)
--------------------------------------------------------------------
  由于综合日志格式简单地结合了3种日志信息，所以在配置访问日志时，要么使用3个文件分别记录，要么使用一个综合文件记录。
5、日志滚动
要使系统重新使用空的日志文件 ，可以执行如下命令
#cd /usr/loca/apache2/log
# mv error_log error_log.01
#mv access_log access_log.01
当重启apache时新的error_log和access_log
下面我们使用日志分析软件webalizer来统计


1）、安装webalizer
# yum install webalizer
# rpm -qa |grep webalizer
webalizer-2.01_10-30.1
# rpm -qa |grep webalizer
webalizer-2.01_10-30.1
[root@dns logs]# rpm -ql webalizer
/etc/cron.daily/00webalizer
/etc/httpd/conf.d/webalizer.conf
/etc/webalizer.conf
/usr/bin/webalizer
/usr/bin/webazolver
/usr/share/doc/webalizer-2.01_10
/usr/share/doc/webalizer-2.01_10/README
/usr/share/man/man1/webalizer.1.gz
/var/lib/webalizer
*生成的HTML文件存放在下面的路径

/var/www/usage
/var/www/usage/msfree.png
/var/www/usage/webalizer.png

2）、配置webalizer
#ln -s /var/www/usage /usr/local/www/usage

# webalizer /usr/local/apache2/logs/access_log
http://ip/usage
http://blog.51cto.com/summervast/../attachment/201007/201007021278053824874.jpg