cacti下syslog插件安装&&syslog-ng统一管理日志

eewew33

实验目标

用syslog-ng过滤日志并转存到日志服务器上

通过cacti的syslog插件将日志web显示

实验环境

Gentoo 3.8.13系统

预安装LAMP ssh

需要软件

syslog-ng## gentoo系统自带

其他需求

Gentoo的安装

Cacti的安装

LAMP环境安装

参考blog相关文章

http://chengchow.blog./all/1642666

服务器需求

至少2台服务器，下面测试我用了4台，相关信息如下：

IP地址	主机名称	主机编号
192.168.254.123	syslog	1
192.168.254.81	namenode	2
192.168.254.84	datanode	3
192.168.254.85	tasktracker(datanode2)	4
192.168.254.1	**-***-**(my windows)	5

参考文档

Syslog-ng安装配置

http://wenku.baidu.com/view/6a502e7d168884868762d648.html

cacti下syslog插件安装

http://wenku.baidu.com/link?url=FPq9ViSuPqIpKx5BKG79gmDTx8_7l-qN9urGr1XO9K5myzGr1-LWfbwwJn_077DLjNWXrzipI6cwJyB-7-9-edymeamnZqRRPkyHLYYqify

实验步骤一 syslog服务器配置Syslog-ng的安装

在主机1上

如果没有安装syslog-ng

Shell>USE=”sql” emerge syslog-ng

Shell>/etc/init.d/syslog-ng start

Shell>rc-update add syslog-ng default

Shell>emerge event-log

配置 syslog-ng.conf文件Shell> cat /etc/syslog-ng/syslog-ng.conf


@version: 3.2
#
# configuration file for syslog-ng, customized for remote logging
#
options {
use_fqdn(yes);
chain_hostnames(off);
keep_hostname(off);
flush_lines(0);
# The default action of syslog-ng 1.6.0 is to log a STATS line
# to the file every 10 minutes.  That's pretty ugly after a while.
# Change it to every 12 hours so you get a nice daily update of
# how many messages syslog-ng missed (0).
stats_freq(43200);
create_dirs(yes);
};
source src {
unix-stream("/dev/log" max-connections(256));
internal();
file("/proc/kmsg");
};
destination messages { file("/var/log/messages"); };
destination console_all { file("/dev/tty12"); };
source s_internal { internal(); };
destination d_syslognglog { file("/var/log/syslog-ng.log"); };
log { source(s_internal); destination(d_syslognglog); };
source s_sys { file ("/proc/kmsg" program_override("kernel: ")); unix-stream ("/dev/log"); internal(); };
destination d_cons { file("/dev/console"); };
destination d_mesg { file("/var/log/messages"); };
destination d_auth { file("/var/log/secure"); };
destination d_mail { file("/var/log/maillog"); };
destination d_spol { file("/var/log/spooler"); };
destination d_boot { file("/var/log/boot.log"); };
destination d_cron { file("/var/log/cron"); };
destination d_rsync { file("/var/log/rsync"); };
destination d_mlal { usertty("*"); };
filter f_filter1     { facility(kern); };
filter f_filter2     { level(info) and
not (facility(mail)
or facility(authpriv) or facility(cron)); };
filter f_filter3     { facility(authpriv); };
filter f_filter4     { facility(mail); };
filter f_filter5     { level(emerg); };
filter f_filter6     { facility(uucp) or
(facility(news) and level(crit)); };
filter f_filter7     { facility(local7); };
filter f_filter8     { facility(cron); };
filter f_filter9     { facility(daemon); };
filter f_filter10     { facility(local6); };
#log { source(s_sys); filter(f_filter1); destination(d_cons); };
#log { source(s_sys); filter(f_filter2); destination(d_mesg); };
#log { source(s_sys); filter(f_filter3); destination(d_auth); };
#log { source(s_sys); filter(f_filter4); destination(d_mail); };
#log { source(s_sys); filter(f_filter5); destination(d_mlal); };
#log { source(s_sys); filter(f_filter6); destination(d_spol); };
#log { source(s_sys); filter(f_filter7); destination(d_boot); };
#log { source(s_sys); filter(f_filter8); destination(d_cron); };
# Remote logging
source s_remote {
udp(ip(0.0.0.0) port(514));
};
destination r_mesg { file("/var/log/syslog-ng/$YEAR/$MONTH/$HOST/messages" owner("root") group("root") perm(0640) dir_perm(0750) create_dirs(yes)); };
destination r_auth { file("/var/log/syslog-ng/$YEAR/$MONTH/$HOST/secure" owner("root") group("root") perm(0640) dir_perm(0750) create_dirs(yes)); };
destination r_mail { file("/var/log/syslog-ng/$YEAR/$MONTH/$HOST/maillog" owner("root") group("root") perm(0640) dir_perm(0750) create_dirs(yes)); };
destination r_spol { file("/var/log/syslog-ng/$YEAR/$MONTH/$HOST/spooler" owner("root") group("root") perm(0640) dir_perm(0750) create_dirs(yes)); };
destination r_boot { file("/var/log/syslog-ng/$YEAR/$MONTH/$HOST/boot.log" owner("root") group("root") perm(0640) dir_perm(0750) create_dirs(yes)); };
destination r_cron { file("/var/log/syslog-ng/$YEAR/$MONTH/$HOST/cron" owner("root") group("root") perm(0640) dir_perm(0750) create_dirs(yes)); };
destination r_daemon { file("/var/log/syslog-ng/$YEAR/$MONTH/$HOST/daemon" owner("root") group("root") perm(0640) dir_perm(0750) create_dirs(yes)); };
destination r_local6 { file("/var/log/syslog-ng/$YEAR/$MONTH/network/messages" owner("root") group("root") perm(0640) dir_perm(0750) create_dirs(yes)); };
#destination d_separatedbyhosts {
#       file("/var/log/syslog-ng/$HOST/messages" owner("root") group("root") perm(0640) dir_perm(0750) create_dirs(yes));
#};
#log { source(s_remote); destination(d_separatedbyhosts); };
log { source(s_remote); filter(f_filter2); destination(r_mesg); };
log { source(s_remote); filter(f_filter3); destination(r_auth); };
log { source(s_remote); filter(f_filter4); destination(r_mail); };
log { source(s_remote); filter(f_filter6); destination(r_spol); };
log { source(s_remote); filter(f_filter7); destination(r_boot); };
log { source(s_remote); filter(f_filter8); destination(r_cron); };
log { source(s_remote); filter(f_filter9); destination(r_daemon); };
log { source(s_remote); filter(f_filter10); destination(r_local6); };
## cacti settings
# cacti local settings
destination d_mysql {
pipe("/tmp/mysql.pipe"
template("INSERT INTO syslog_incoming(host,facility,priority,date,time,message) VALUES('$HOST','$FACILITY','$PRIORITY','$YEAR-$MONTH-$DAY','$HOUR:$MIN:$SEC','$MSG');\n")
template-escape(yes));
};
log{ source(s_remote);destination(d_mysql); };
log{ source(s_sys);destination(d_mysql); };
# cacti remote settings
#destination r_mysql {
#        pipe("/tmp/mysql.pipe" owner("root") group("root")
#   template("INSERT INTO syslog_incoming(host,facility,priority,date,time,message) VALUES('$HOST','$FACILITY','$PRIORITY','$YEAR-$MONTH-$DAY','$HOUR:$MIN:$SEC','$MSG');\n")
#   template-escape(yes));
#};
#log { source(s_remote); destination(r_mysql); };
## client settings
destination d_udp { udp ("192.168.254.123" port(514)); };
log { source(src);destination(d_udp); };
这里编写的比较乱，是用了Ubuntu syslog-ng自带的配置文件做的修改，本地日志生成被我停掉了，所有日志都是通过514端口获取，包括syslog服务器的日志，具体配置文件的说明参见附件3

添加IP地址对应主机名称解析

有DNS服务器不需要

Shell>vi /etc/hosts

客户端配置

在2-4上

如果没有安装syslog-ng

Shell>emerge syslog-ng

Shell>/etc/init.d/syslog-ng start

Shell>rc-update add syslog-ng default

配置syslog-ng.conf文件

Shell>echo “destination d_udp { udp(“192.168.254.123”prot(514)); }; ” >>/etc/syslog-ng/syslog-ng.conf

Shell>echo “log { source(src);destination(d_udp); };” >> /etc/syslog-ng/syslog-ng.conf

Shell>cat /etc/syslog-ng/syslog-ng.conf

具体配置的说明参考附件3

这里source(src)默认配置自带

重启syslog服务

在1-4上

Shell> /etc/init.d/syslog-ng restart

到这里syslog服务器就配置完成了

测试

配置完成去主机1上，进入syslog-ng日志目录，如下

可以看到对应的服务器日志文件夹，这里我们用主机2测试，打开 secure(登录验证日志)

Shell>tail -f /var/log/syslog-ng/2014/04/namenode/secure

另外在开一个终端，登录主机2，如果日志有变化，则说明配置成功

Message/daemon/cron测试日志同上

Message系统日志

Daemon服务开启/关闭日志

Secure用户验证日志

Cron计划任务日志

Windows客户端配置

Windows服务器不支持日志服务器，需要安装一个转换软件evtsys：
下载地址为：
http://down./tag-evtsys.html

根据系统的版本下载32位和64位的程序。
解压后是两个文件evtsys.dll和evtsys.exe
把这两个文件拷贝到 c:\windows\system32目录下。

以下操作在CMD下

安装evtsys服务
C:\>evtsys –i –h 192.168.254.123 –p 514
-i 表示安装成系统服务
-h 指定log服务器的IP地址

-p 指定端口

详细参数使用evtsys /?查看

启动evtsys

C:\net start evtsys

停止 evtsys

c:\net stop evtsys

卸载evtsys：
evtsys –u

效果如下

这里有个中文字体会转码的问题，如上图操作”View”à”Encoding”à”Unicode(UTF-8)”.

二 cacti syslog插件安装配置

关于cacti配置及cacti syslog插件的安装，参考之前的笔记

http://chengchow.blog./all/1642666

下面主要说用cacti syslog插件读取syslog日志

Cacti for syslog的安装目录

先配置下权限问题

Shell> cd /var/www/localhost/htdocs/cacti/plugins/syslog

Shell> chmod –R 755 +x ../syslog

Shell> chown –R cactiuser:cactiuser ../syslog

Syslog数据库导入

这里有两种方法

方法1：利用原来的cacti数据（优点是不需要另外创建数据库，缺点是日志文件太多，不方便管理）

Shell> mysql –uroot –p cactidb < syslog.sql

方法2：新建立个数据库管理

Shell> mysql –uroot –p

mysql> create databse syslogdb;

mysql>grant all privileges on syslogdb.* to ‘sysloguser’@’localhost’ indentify by ‘syslogpass’;

mysql>quit

shell> mysql –uroot –p syslogdb < syslog.sql

这里用方法1

Cacti for syslog配置文件修改

Shell> vi ./config.php

注意箭头部分,true是使用cactidb数据库，false是使用自建数据库

同步日志的到数据库脚本
Shell> cat ./syslog2mysql.sh


#!/bin/bash
if [ ! -e /tmp/mysql.pipe ];then
mkfifo /tmp/mysql.pipe
fi
while [ -e /tmp/mysql.pipe ]
do
mysql -ucactiuser -pcactipass cactidb < /tmp/mysql.pipe
done
exit 0
运行脚本，一个死循环，需要在后台运行
Shell> nohup ./syslog2mysql.sh &
注意，脚本里面的临时文件路径，必须是在syslog-ng.conf里面destination配置路径
添加计划任务

Shell> vi /etc/crontab

这里为了测试方便，改成了1分钟获取一次数据，时间日志同步建议和cacti获取时间同步

登录cacti界面

“console”à”configuration”à”plugins management”会出现如下界面

如果没有如下界面也没关系，删除syslog插件重新登录，按照以上步骤就会出现，主要是一些参数的选择

第一个选项有MyISAM和Innodb两种数据库类型，建议选innodb.

第二个是数据库结构，5.5以上可以直接选择partitioined table，5.1.6以下不支持.

第三个是日志保存时间，最大为1年.

第一次登录好像还有个参数，没留意什么，直接默认安装了

如果不清楚选项含义，可以全部默认，默认配置性能上不能达到最优，兼容性最好，选择完成点击Install按钮安装。

安装完成，如果有安装clog插件的，顺便看下cacti日志是否有报错；

如果没有错误，继续；

在1-4上面做服务重启或者登录的操作，等待几分钟，点击syslog页面查看，如下界面。

1选择页面

2主机名称

3过滤选项

4日志内容

5日志等级颜色标志

附件1：syslog日志获取流程

附件2：cacti for syslog日志获取流程

附件3： syslog-ng.conf配置简单介绍

Syslog-ng.conf一共有5个字段（1-5）

1.Option { };

全局选项

选项格式

options { opt1; opt2; ... };

选项：

chain_hostnames(yes|no) ：是否打开主机名链功能，打开后可在多网络段转发日志时有效

long_hostnames(yes|no) ：是chain_hostnames的别名，已不建议使用

keep_hostname(yes|no) ：是否保留日志消息中保存的主机名称，否时，总是使用来源主机来作重写日志的主机名

use_dns(yes|no) ：是否打开DNS查询功能，应使用防火墙保护使用syslog-ng的节点安全，并确认所有主机都是可以通过dns解释的，否则请关闭该选项。

use_fqdn(yes|no) ：是否使用完整的域名

check_hostname(yes|no) ：是否检查主机名有没有包含不合法的字符

bad_hostname(regexp) ：可通过正规表达式指定某主机的信息不被接受

dns_cache(yes|no) ：是否打开DNS缓存功能

dns_cache_expire(n) ：DNS缓存功能打开时，一个成功缓存的过期时间

dns_cache_expire_failed(n) ：DNS缓存功能打开时，一个失败缓存的过期时间

dns_cache_size(n) ：DNS缓存保留的主机名数量

create_dirs(yes|no) ：当指定的目标目录不存在时，是否创建该目录

dir_owner(uid) ：目录的UID

dir_group(gid) ：目录的GID

dir_perm(perm) ：目录的权限，使用八进制方式标注，例如0644

owner(uid) ：文件的UID

group(gid) ：文件的GID

perm(perm) ：文件的权限，同样，使用八进制方式标注

gc_busy_threshold(n) ：当syslog-ng忙时，其进入垃圾信息收集状态的时间。一旦分派的对象达到这个数字，syslog-ng就启动垃圾信息收集状态。默认值是：3000。

gc_idle_threshold(n) ：当syslog-ng空闲时，其进入垃圾信息收集状态的时间。一旦被分派的对象到达这个数字，syslog-ng就会启动垃圾信息收集状态，默认值是：100

log_fifo_size(n) ：输出队列的行数

log_msg_size(n) ：消息日志的最大值（bytes）

mark(n) ：多少时间（秒）写入两行MARK信息供参考，目前没有实现

stats(n) ：多少时间（秒）写入两行STATUS信息供，默认值是：600

sync(n) ：缓存多少行的信息再写入文件中，0为不缓存，局部参数可以覆盖该值。

time_reap(n) ：在没有消息前，到达多少秒，即关闭该文件的连接

time_reopen(n) ：对于死连接，到达多少秒，会重新连接

use_time_recvd(yes|no) ：宏产生的时间是使用接受到的时间，还是日志中记录的时间；建议使用R_的宏代替接收时间，S_的宏代替日志记录的时间，而不要依靠该值定义。

2.Source { };

source <sourcename> { 日志源; 日志源; ... };

#日志源可用参数：

file (filename) ：从指定的文件读取日志信息

unix-dgram(filename) ：从SOCK_DGRAM模式的unix套接字接收日志消息

unix-stream (filename) ：从SOCK_STREAM模式的unix套接字接收日志消息

udp ( (ip),(port) ) ：从UDP端口接收日志

tcp ( (ip),(port) ) ：从TCP端口接收日志

internal() ： syslog-ng内部产生的日志

pipe(filename),fifo(filename) ：从指定的管道或者FIFO设备，读取日志信息可以同

时配置多个日志，

经典应用

source s_sys { file ("/proc/kmsg" log_prefix("kernel: ")); unix-stream ("/dev/log"); internal(); };

3.Filter { };

filter <filtername> { 过滤参数; };

#过滤参数可用：

facility(,)：根据facility（设备）选择日志消息，使用逗号分割多个facilitylevel(,)：根

据level（优先级）选择日志消息，使用逗号分割多个level，或使用“..”表示一个范围

program(regexp)：日志消息的程序名是否匹配一个正则表达式

host(regexp)：日志消息的主机名是否和一个正则表达式匹配

match(regexp)：对日志消息的内容进行正则匹配

filter()：调用另一条过滤规则并判断它的值

#过滤参数操作式：

And与

or 或

not 非

#facility（设备）可用消息类型

Auth用户认证

authpriv有特权的用户认证

croncron守护进程

daemon各种系统守护进程

ftpftp守护进程

kern内核消息

local0-local7保留用于本地用法

lpr打印机

mail邮件

news新闻

syslog内部syslog

uucpuucp系统

user各种用户程序来的消息

cacti中filter参数查询的分类

#Level等级：

emerg最严重的错误 (如system panic)

alert需要立即处理的严重错误

critcritical warming

err普通错误

warn警告信息

notice比较不严重的信息

info普通信息

debug除错信息

cacti中fileter等级查询的分类

4.Destination { };

destination <name> { 目标操作; 目标操作;...;};

#目标操作常用参数：

file (filename) ：写入指定文件

unix-dgram(filename) ：写入SOCK_DGRAM模式的unix套接字

unix-stream (filename) ：写入SOCK_STREAM模式的unix套接字

tcp(ip),(port) ：以TCP协议发送指定主机端口

udp (ip),(port) ：以UDP协议发送指定主机端口

usertty(username) ：把日志消息发送到已经登陆的指定用户终端

pipe(filename),fifo(filename):把日志消息发送到指定管道或FIFO设备

program(parm) ：启动指定的程序，并把日志消息发送到该进程的标准输入

5.Log { };

日志生成

格式

Log {source<sourcename> filter<filtername> destination<destinationname> };

Filter可以省略，不过滤日志。

6.扩展file部分函数的参数

syslog-ng除了有全局选项参数外，不同的函数还可以定义其参数，其中包括：

6.1、扩展file的宏

HOST 日志消息的源发主机名。如果日志消息穿过几个主机，并且chain_hostname（）功能已经打开，就使用第一个主机名。

FACILITY ：日志消息来自的日志设备

PRIOPRITY/LEVEL ：日志消息的优先级

PROGRAM ：发送日志消息的程序

YEAR ：发送日志消息的年份，这个宏既可以指定日志消息送出的时间，也可以指定日志消息收到的时间。这由use_time_recvd（）选项控制

MONTH ：发送日志消息的月份

DAY ：发送日志消息的日子

HOUR ：小时

MIN ：分钟

SEC ：秒

6.2、file的参数

log_file_size（）日志文件大小

program_override（）原来的sync参数

owner（）日志文件用户

perm（）日志文件权限

group（）日志文件用户组

dir_perm（）日志文件夹权限

create_dir （）自动创建文件夹

6.3、tcp和upd的参数

ip（xxx.xxx.xxx.xxx）：定义绑定的IP地址

port（n）：定义绑定的端口

max-connections（n）：定义最大连接数

※TCP基于连接方式传输，不会造成日志丢失，而UDP则不同。但因为传统的syslog基于UDP的514端口，所以，UDP方式也经常会使用到。

另外，514也是rshell的默认端口，请注意冲突。

实验文档使用的就是udp连接