htbzwd 发表于 2019-1-30 08:24:22

分析工具Awstats实战之Nginx篇-分析结果动态化

  上一篇博文“分析工具Awstats实战之Nginx篇-分析结果静态化 http://www.linuxidc.com/Linux/2013-10/92150.htm”介绍了如何将awstats的日志分析信息用静态页面来进行显示,不过显示效果肯定没有动态的好啦。本篇博文将带大家一起来部署动态的分析结果查阅。
  环境:
  CentOS 6.4
  ip:192.168.1.113
  域名:www.linuxidc.com(server和client都通过hosts文件解析)
  nginx-1.2.9 编译安装,路径/usr/local/nginx,服务开启状态
  日志记录格式为nginx默认的,切勿更改,否则会造成awstats无法分析日志。
  log_format main '$remote_addr - $remote_user [$time_local] "$request" '
  '$status $body_bytes_sent "$http_referer" '
  '"$http_user_agent" "$http_x_forwarded_for"';
  awstats-7.2.tar.gz CPAN-2.00.tar.gz FCGI-0.74.tar.gz FCGI-ProcManager-0.24.tar.gz
  必须有perl-devel,不然无法编译FCGI。
  一、日志自动切割
  对于nginx的日志切割,由于没有像apache一样去用cronolog工具,这里我们就写一个脚本,让它可以在每天00:01自动执行,切割昨天的日志(交由awstats分析),压缩前天的日志(压缩日志可减小存储空间,为防止awstats没有分析完就被压缩,所以只压缩前天的日志)。
  vim /server/scripts/cut_nginx_log.sh
  输入以下内容:
  #!/bin/sh
  yesterday=`date -d "yesterday" +"%Y%m%d"`
  before_yesterday=`date -d "-2 day" +"%Y%m%d"`
  Nginx_Dir="/usr/local/nginx"
  Nginx_logs="/app/logs"
  Log_Name="www_access"
  cd /tmp
  [ -d $Nginx_Logs ] && cd $Nginx_logs || exit 1
  [ -f $Log_Name.log ] && /bin/mv $Log_Name.log ${Log_Name}_${yesterday}.log || exit 1
  if [ $? -eq 0 -a -f $Nginx_Dir/logs/nginx.pid ]
  then
  kill -USR1 `cat $Nginx_Dir/logs/nginx.pid`
  fi
  [ -f${Log_Name}_${before_yesterday}.log ] && /usr/bin/gzip ${Log_Name}_${before_yesterday}.log|| exit 1
  执行crontab -e将该脚本加入定时任务中
  1 0 * * * /bin/sh /server/scripts/cut_nginx_log.sh >/dev/null 2>&1
  这样每天凌晨00:01就能自动实现日志的切割,压缩等功能了。
  因为本次实验下的nginx此时已经有日志了,另外为了后文awstats能对切割过的日志进行分析,所以这里我们要运行一下此脚本,来将现有日志进行切割生成昨天的日志方便后文操作。
  /bin/sh /server/scripts/cut_nginx_log.sh >/dev/null 2>&1
  二、配置FCGI
  1、安装CPAN
  wget http://search.cpan.org/CPAN/authors/id/A/AN/ANDK/CPAN-2.00.tar.gz
  tar zxf CPAN-2.00.tar.gz
  cd CPAN-2.00
  perl Makefile.PL
  make && make install
  2、安装FCGI和FCGI::ProcManager
  wget http://search.cpan.org/CPAN/authors/id/F/FL/FLORA/FCGI-0.74.tar.gz
  tar zxf FCGI-0.74.tar.gz
  cd FCGI-0.74
  第一种安装方法:perl -MCPAN -e 'install FCGI'
  第二种安装方法:perl Makefile.PL
  make&&make install
  wget http://search.cpan.org/CPAN/authors/id/B/BO/BOBTFISH/FCGI-ProcManager-0.24.tar.gz
  tar zxf FCGI-ProcManager-0.24.tar.gz
  cd FCGI-ProcManager-0.24
  第一种安装方法:perl -MCPAN -e 'install FCGI::ProcManager'
  第二种安装方法:perl Makefile.PL
  make&&make install
  在执行第一种安装方法的时候,一定是全程自动滚动下来提示OK的。如果出现提示你输入yes之类的,你需要按提示操作完之后,再运行第二次直到全程自动滚动下来提示OK才为完成安装。或者你就用第二种方法来执行安装。
  3、创建FCGI启动文件
  vi /usr/local/nginx/sbin/fcgi      #此处按个人习惯命名
  #!/usr/bin/perl
  use FCGI;
  #perl -MCPAN -e 'install FCGI'
  use Socket;
  use POSIX qw(setsid);
  #use Fcntl;
  require 'syscall.ph';
  &daemonize;
  #this keeps the program alive or something after exec'ing perl scripts
  END() { } BEGIN() { }
  *CORE::GLOBAL::exit = sub { die "fakeexit\nrc=".shift()."\n"; };
  eval q{exit};
  if ($@) {
  exit unless $@ =~ /^fakeexit/;
  };
  &main;
  sub daemonize() {
  chdir '/'                or die "Can't chdir to /: $!";
  defined(my $pid = fork)or die "Can't fork: $!";
  exit if $pid;
  setsid                  or die "Can't start a new session: $!";
  umask 0;
  }
  sub main {
  #$socket = FCGI::OpenSocket( "127.0.0.1:8999", 10 );
  $socket = FCGI::OpenSocket( "/usr/local/nginx/fastcgi_temp/perl_cgi-dispatch.sock", 10 );
  #use UNIX sockets - user running this script must have w access to the 'nginx' folder!!
  $request = FCGI::Request( \*STDIN, \*STDOUT, \*STDERR, \%req_params, $socket );
  if ($request) { request_loop()};
  FCGI::CloseSocket( $socket );
  }
  sub request_loop {
  while( $request->Accept() >= 0 ) {
  #processing any STDIN input from WebServer (for CGI-POST actions)
  $stdin_passthrough ='';
  $req_len = 0 + $req_params{'CONTENT_LENGTH'};
  if (($req_params{'REQUEST_METHOD'} eq 'POST') && ($req_len != 0) ){
  my $bytes_read = 0;
  while ($bytes_read < $req_len) {
  my $data = '';
  my $bytes = read(STDIN, $data, ($req_len - $bytes_read));
  last if ($bytes == 0 || !defined($bytes));
  $stdin_passthrough .= $data;
  $bytes_read += $bytes;
  }
  }
  #running the cgi app
  if ( (-x $req_params{SCRIPT_FILENAME}) && #can I execute this?
  (-s $req_params{SCRIPT_FILENAME}) && #Is this file empty?
  (-r $req_params{SCRIPT_FILENAME})    #can I read this file?
  ){
  pipe(CHILD_RD, PARENT_WR);
  my $pid = open(KID_TO_READ, "-|");
  unless(defined($pid)) {
  print("Content-type: text/plain\r\n\r\n");
  print "Error: CGI app returned no output - Executing $req_params
  {SCRIPT_FILENAME} failed !\n";
  next;
  }
  if ($pid > 0) {
  close(CHILD_RD);
  print PARENT_WR $stdin_passthrough;
  close(PARENT_WR);
  while(my $s = ) { print $s; }
  close KID_TO_READ;
  waitpid($pid, 0);
  } else {
  foreach $key ( keys %req_params){
  $ENV{$key} = $req_params{$key};
  }
  # cd to the script's local directory
  if ($req_params{SCRIPT_FILENAME} =~ /^(.*)\/[^\/]+$/) {
  chdir $1;
  }
  close(PARENT_WR);
  close(STDIN);
  #fcntl(CHILD_RD, F_DUPFD, 0);
  syscall(&SYS_dup2, fileno(CHILD_RD), 0);
  #open(STDIN, "
页: [1]
查看完整版本: 分析工具Awstats实战之Nginx篇-分析结果动态化