基于Rotated Log的日志统计

3212312

RotatedLog 简介

    Rotatedlog是linux支持日志文件自动转储和重命名的机制。当需要限制每个日志文件大小，或者需要周期地统计并记录日志的时候，就是rotatedlog机制大显身手的好时机。

RotatedLog的使用和配置
    Rotatedlog的配置文件都是在/etc/logrotate.d里面，它本身依赖于logrotate命令的执行。logrotate自身作为一个日常的cronjob，正常情况下它一天只会执行一次,通过下面的命令可以看到它是如何作为一个cronjob的：

[root@localhostcron.daily]# pwd
/etc/cron.daily
[root@localhostcron.daily]# cat logrotate
#!/bin/sh

/usr/sbin/logrotate/etc/logrotate.conf
EXITVALUE=$?
if[ $EXITVALUE != 0 ]; then
/usr/bin/logger-t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit0

    除非rotate是根据日志文件大小进行，或者强制执行转储命令logrotate -f。配置文件里指定了需要rotate的日志文件的名字，以及rotate触发的机制、处理的策略，以/etc/logrotate.d/syslogd为例:
[root@localhostlogrotate.d]# cat syslog
/var/log/cron
/var/log/maillog
/var/log/messages
/var/log/secure
/var/log/spooler
{
sharedscripts
postrotate
/bin/kill-HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null ||true
endscript
}
从第一到第五行指定了有待rotate的日志文件的名字,这里列出了五个日志文件需要保存。sharedscripts表示postrotate脚本命令/bin/kill-HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null ||true只会执行一次，而不是在每个上述的日志文件rotate之后都执行一次。


    RotatedLog相关的程序设计
根据本人最近使用logrotate的经验和教训，重点需要考虑和引起注意的要素有：
1.考虑到保证每一条记录的完整性，建议根据时间而非容量进行自动回转。

2.考虑到查询的方便和logrotated的命名规则，需要设计好合适的数据结构来统计每一个日志文件的记录。还是以上面的mailog日志文件为例，如果某个时刻系统只有一个mailog，第一次rotate之后之前的mailog会重新命名为mailog.1，而mailog里面的内容会被清空；第二次rotate之后，之前的maillog.1会被重命名为mailog.2，而之前的maillog会重新命名为mailog.1，而mailog里面的内容会被情况，后续的rotate以此类推。因此，需要一个设计良好的数据结构和方法来表示文件名称和真实文件。

3.如果存在多个用户同时访问日志文件的情况，为了保证日志总数和记录的完整和一致，需要在访问文件前加锁。


4.进阶：Rotatedlog本身和其他模块和代码没有联系，其他应用往往需要从rotatedlog里存取数据，为此可以开发出和具体业务无关的且便于扩展的rotatedlog API，以静态库或者动态库的形式支持二次开发。