自动分割SQUID的日志，并每天生成一个日期格式文件名的日志

zhendeaini123

　　原贴:http://bbs.iyunv.com/viewthread.php?tid=538499&highlight=cnsnoopy&page=0&#pid4290654
　　
　　自动分割SQUID的日志，并每天生成一个日期格式文件名的日志

首页 » 论坛 » Proxy服务器 » 取消高亮 论坛跳转 ...  > Linux论坛  > BSD      > 安装问题      > 服务器架设      > 程序开发      > 安全问题  > Solaris  > AIX  > HP-UX  > SCO UNIX  > IBM AS400应用论坛  > Tru64 UNIX  > IRIX  > Mac OS X  > C/C++  > Shell  > Java  > Php  > Perl  > Python  > Web开发  > 软件工程  > 中间件技术  > GUI编程  > 软件配置管理  > VOIP开发技术  > CPU与编译器  > Ruby  > 网络安全  > 网络技术  > Cisco技术  > 存储备份之家  > 服务器及硬件技术  > MySQL  > PostgreSQL  > Sybase      > SYBASE开发者大师评选专区  > Oracle  > DB2  > Informix  > Web服务器  > Mail服务器  > FTP服务器  > DNS服务器  > Proxy服务器  > LDAP  > VPN  > Lotus  > Samba  > 金融行业  > 电信行业  > 互联网行业  > 制造行业  > 医卫行业  > 教育行业  > 媒体娱乐行业  > 电子政务  > 信息安全  > 交通行业  > IT业界新闻与评论  > IT职业生涯  > IT培训与认证  > IT二手大厅  > IT图书与评论  > 清茶斋  > 投资理财  > 运动地带  > 快乐数码摄影  > 影音文字  > English Forum  > 游戏玩家  > 旅游天下  > 站务交流  > 博客站务交流区  > Wiki站务交流区  > 下载频道交流区   最近访问的论坛 ...Web服务器ShellPerlIT业界新闻与评论IT职业生涯BSDDB2  | UNIX平台操作风险管理解决方案 | 安全新客站 应用风向标 | 发SYBASE经验帖得3000元旅游大奖！ | 9月DB2有奖发帖排行榜前50强 | 欢迎参加Linux-Windows互操作性调查 取消高亮 ‹‹ 上一主题 | 下一主题 ›› [打印] [订阅] [收藏] [推荐给朋友] [本帖文本页] cnsnoopy   
侠客



UID：62779
注册：2003-6-11
最后登录： 2007-02-05
帖子：34
精华：1

可用积分：44
信誉积分：100
专家积分：0 (本版)

来自：北京
状态：...离线...
[资料] [站内短信] [Blog]


1楼 发表于 2005-4-29 14:41  Rotating SQUID log with newsyslog

Kenny Zhao, kunfirst.blogchina.com
if you have any question, please feel free to send me a email:
kfirst@gmail.com

--------------------------------

* Introduction:

rorate squid log,and make sure its filename is automatically
renamed as a date-based pattern,such as: access20050412.log.gz

download newsyslog from http://www.eyrie.org/~eagle/software/newsyslog/

BTW: newsyslog is an official recommendation to  replace rotatelog by SQUID.

* Installation:

1.Install newsyslog 1.6

[Copy to clipboard] [ - ]CODE:        ./configure
        make
        make install
newsyslog should be installed into /usr/local/sbin/newsyslog

2.Crate a new file: /usr/local/etc/newsyslog.conf, paste lines below:

[Copy to clipboard] [ - ]CODE:set squid_logpath = /usr/local/squid/var/logs
set squid_log = /usr/local/squid/var/logs/access.log
set date_squid_log = /usr/local/squid/var/logs/access%Y%M%D.log

SQUID{
        restart: run /usr/local/squid/sbin/squid -k rotate
        log:  SQUID squid_log squid squid 644
        archive: SQUID date_squid_log 0

}
3.run newsyslog in crontab,(example: run once 23:58 daily):

[Copy to clipboard] [ - ]CODE:58      23      *       *       *       /usr/local/sbin/newsyslog



您对本贴的看法：鲜花[0] 臭蛋[0]UNIX平台操作风险管理解决方案 | 送Linux集群，十一长假精通Linux技术！ | 免费下载IBM社区版软件 | 安全新客站 段誉     
版主－法师



UID：6544
注册：2002-4-8
最后登录： 2007-09-22
帖子：5595
精华：16

可用积分：152
信誉积分：100
专家积分：0 (本版)

来自：冰城—哈尔滨
状态：...离线...
[资料] [站内短信] [Blog]


2楼 发表于 2005-4-29 19:18  自动分割SQUID的日志，并每天生成一个日期格式文件名的日志

这是楼主自己写的程序？到是很不错的说。

通常在linux平台下（俺D经验），直接用squid -k rotate就可以生成每天的日志，文件名格式为squid.log.x，x为0~90，这里的90是在squid.conf里面配置的——参数忘记了，回头补上来。


您对本贴的看法：鲜花[0] 臭蛋[0]
__________________________________

垃圾北京！

UNIX平台操作风险管理解决方案 | 送Linux集群，十一长假精通Linux技术！ | 免费下载IBM社区版软件 | 安全新客站cnsnoopy   
侠客



UID：62779
注册：2003-6-11
最后登录： 2007-02-05
帖子：34
精华：1

可用积分：44
信誉积分：100
专家积分：0 (本版)

来自：北京
状态：...离线...
[资料] [站内短信] [Blog]


3楼 发表于 2005-5-1 15:15  自动分割SQUID的日志，并每天生成一个日期格式文件名的日志

squid -k rotate  生成的日志没有日期的文件名，从文件名很难看出是哪天的日志，难以管理。
比如需要定时下载该日志，需要自动合并多台服务器上不同格式的日志等都会比较困难。

对于需要日志分析的大中型网站来说，生成有规律的日志是有必要的，就像IIS那样。


您对本贴的看法：鲜花[0] 臭蛋[0]
__________________________________

No Pain,No Gain

互联网观察中心
UNIX平台操作风险管理解决方案 | 送Linux集群，十一长假精通Linux技术！ | 免费下载IBM社区版软件 | 安全新客站joyaid   
风云使者



UID：113520
注册：2003-11-20
最后登录： 2007-09-11
帖子：441
精华：0

可用积分：93
信誉积分：100
专家积分：0 (本版)

状态：...离线...
[资料] [站内短信] [Blog]


4楼 发表于 2005-5-1 22:00  自动分割SQUID的日志，并每天生成一个日期格式文件名的日志

很不错ing!!支持!!


您对本贴的看法：鲜花[0] 臭蛋[0]
__________________________________

Gman.

UNIX平台操作风险管理解决方案 | 送Linux集群，十一长假精通Linux技术！ | 免费下载IBM社区版软件 | 安全新客站Notepad   
圣骑士



UID：209496
注册：2004-12-21
最后登录： 2005-11-04
帖子：91
精华：0

可用积分：20
信誉积分：100
专家积分：0 (本版)

状态：...保密...
[资料] [站内短信] [Blog]


5楼 发表于 2005-5-5 19:36  自动分割SQUID的日志，并每天生成一个日期格式文件名的日志

筛选后导入到数据库不更好，我就导入PGSQL了

[Copy to clipboard] [ - ]CODE:-[ RECORD 4 ]------------------------------------------------------------------
al_servname | relay.cc
al_timstamp | 2005-05-05 09:02:41
al_outgolen | 199
al_userhost | 10.36.7.7           
al_tcpstats | TCP_MISS                     
al_tcpstatn | 200
al_incomlen | 1965
al_httpmeth | GET      
al_flushurl | http://unixpro.blogbus.com/images/cats.js
al_username | jack                    
al_lnkstatl | DIRECT
al_lnkstata | 61.152.145.184
al_mimetype | application/x-javascript



您对本贴的看法：鲜花[0] 臭蛋[0]UNIX平台操作风险管理解决方案 | 送Linux集群，十一长假精通Linux技术！ | 免费下载IBM社区版软件 | 安全新客站cnsnoopy   
侠客



UID：62779
注册：2003-6-11
最后登录： 2007-02-05
帖子：34
精华：1

可用积分：44
信誉积分：100
专家积分：0 (本版)

来自：北京
状态：...离线...
[资料] [站内短信] [Blog]


6楼 发表于 2005-10-30 02:38  自动分割SQUID的日志，并每天生成一个日期格式文件名的日志

比较大的网站每天的日志都是数个G，将其导入数据库中恐怕不是很好的解决办法，最好直接用日志分析工具将每天的日志进行分析再将结果导入到数据库中。


您对本贴的看法：鲜花[0] 臭蛋[0]
__________________________________

No Pain,No Gain

互联网观察中心
UNIX平台操作风险管理解决方案 | 送Linux集群，十一长假精通Linux技术！ | 免费下载IBM社区版软件 | 安全新客站