xiaoyu28 发表于 2019-1-30 08:01:29

优化 AWSTATS N种方法验证

  AWSTATS 好一个日志分析工具,图文并貌,与其他工具的相比,成熟,考虑周到。
  问题是在分析大数据量时,一个字,慢。两个字,很慢。
  多大的数据量算大? 分析10G日志,竟然用了7个小时。
  搜集优化的方式如下:
  1, 过滤图片、js、css等文件,处理时间有所缩短。
  -LogFile=”/bin/zcat test.log.gz |grep -v‘.gif\|.png\|.jpg\|.js\|.css’ |”
  2,修改awstats.pl文件,其中 $LIMITFLUSH 默认值为5000,可以根据服务器自身内存进行增加,增加到了100000。 性能提高不明显。
  3,如果统计多个域名的日志,采用 tools/awstats_updateall.pl 可发挥多CPU的能力。
  4,为什么awstats 不使用多线程特性 ?
  如果能用上1,2,3处理时间至少能成倍缩短。



页: [1]
查看完整版本: 优化 AWSTATS N种方法验证