Rsyslog_LogAnalyzer日志服务器部署
简介系统日志：记录历史事件，通常都是按时间顺序将发生的事件予以记录，linux上的日志分为syslogd(系统进程相关日志)和klogd(内核事件日志)
centos5：syslog
缺点：不能进行并行数据存储，效率低，不能实现放在专用数据管理文件中
centos6：rsyslog
优点：
1、支持多线程
2、基于tcp，tls，relp放在远程日志服务器中，早期的syslog仅支持简单的文本传输模式实现日志发送，不安全
3、支持将日志放到mysql，pgsql，oracle等多种数据库中
4、强大的过滤器，可实现过滤系统信息中的任意部分
5、支持完整的输出格式配置（自定义格式），特别适合企业级需求
facility：设施，从功能或程序上对日志进行分类，并由专门的工具负责记录其日志，不是syslog一个进程来接受，而是由代理人帮忙接受并记录下来
auth：认证相关
authpriv :授权信息
cron :计划任务
daemon：守护进程相关
lpr：打印机相关
mail：邮件相关
kern：内核相关
mark：防火墙标记相关
news：新闻组
security：安全
syslog：系统日志
user：用户相关
uucp：unix to unix copy
local0 through local7:8个自定义的设施
指定设施可以使用通配符：
*：所有设备
f1;f2;f3：列表
!：取反
日志级别：
debug :(调试信息)
notice :(注意或警告)
warn|warning(此级别及以上级别都应该重视)
error (错误)
crit(蓝色警戒，再不处理就挂了)
alert(橙色警戒)
emerg|panic(红色警戒)
能使用的通配符：
*：所有级别
none：不记录
target(将保存至的目标文件)：
文件：例如/var/log/message
用户：*当前系统登录的所有用户
日志服务器：@server_ip
管道：| command
事件格式：
时间主机进程事件本身
配置文件：/etc/rsyslog.conf或/etc/rsyslog.d/*
1
2
3
4
5
6
7
配置文件段落
# grep "###" /etc/rsyslog.conf
#### MODULES ####
#### GLOBAL DIRECTIVES ####
#### RULES ####
# ### begin forwarding rule ###
# ### end of the forwarding rule ###
格式：facility.priority target
例如：
mail.info /var/log/maillog info及以上级别
mail.=info /var/log/maillog 明确指定级别
mail.!info 除了指定级别
*.info 所有facility的info及以上级别
mail.* mail的所有级别
mail,news.infomail和news的info及以上级别
mail.notice；news.info如果级别不同，使用；分隔
*.info| command
日志一般是同步的，只有产生日志，就从内存写到磁盘，若使用异步，则在target前面加–
下面我们开始配置Centos 6.5 rsyslog日志系统服务:
系统环境:
Rsyslog Server OS：CentOS 6.5
Rsyslog Server IP：172.16.100.7
Rsyslog 版本：rsyslog-5.8.10-8.el6.i686
LogAnalyzer 版本：LogAnalyzer 3.6.5 (v3-stable)
LAMP 版本：httpd-2.2.15-30.el6.centos.i686 + mysql-5.1.73-3.el6_5.i686 + php-5.3.3-27.el6_5.i686
防火墙已关闭/iptables: Firewall is not running.
SELINUX=disabled
Rsyslog Client OS：RHEL 6.5
Rsyslog Client IP：172.16.100.8
配置日志服务器及客户端(本次案例实现为:单机作为服务器同时也是客户端):
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
去掉注释并重启即可打开日志服务器功能
# Provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514
# Provides TCP syslog reception
$ModLoad imtcp
$InputTCPServerRun 514
重启日志服务器
# service rsyslog restart
Shutting down system logger:
Starting system logger:
# netstat -tunlp | grep 514
tcp 0 0 0.0.0.0:514 0.0.0.0:* LISTEN 5017/rsyslogd
tcp 0 0 :::514 :::* LISTEN 5017/rsyslogd
udp 0 0 0.0.0.0:514 0.0.0.0:* 5017/rsyslogd
udp 0 0 :::514 :::* 5017/rsyslogd
配置客户端:
修改配置文件：
#*.info;mail.none;authpriv.none;cron.none /var/log/messages
*.info;mail.none;authpriv.none;cron.none @172.16.100.7 --指定日志服务器地址
重启：
# service rsyslog restart
Shutting down system logger:
Starting system logger:
测试安装gcc：
# yum -y install gcc
检测日志记录:
# tail -f /var/log/messages
Mar 26 22:37:20 iptablesInclient yum: Installed: zsh-4.3.10-7.el6.x86_64
将日志放到mysql中
实现该功能需要用模块来实现，用mysql驱动连接
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
安装mysql-server,rsyslog-mysql：
# yum -y install mysql-server rsyslog-mysql
查看rsyslog-mysql安装生成的文件：
# rpm -ql rsyslog-mysql
/lib64/rsyslog/ommysql.so
/usr/share/doc/rsyslog-mysql-5.8.10
/usr/share/doc/rsyslog-mysql-5.8.10/createDB.sql
启动mysql服务:
# service mysqld start
编辑/etc/rsyslog.conf
模块端添加：
#log event to mysql
$ModLoad ommysql
roles端添加：
*.info :ommysql:127.0.0.1,Syslog,rsysloguser,rsyslogpass
导入文件(即创建数据库)：
# mysql < /usr/share/doc/rsyslog-mysql-5.8.10/createDB.sql
进入数据库
# mysql
查看数据库
mysql> SHOW DATABASES;
+--------------------+
| Database |
+--------------------+
| information_schema |
| Syslog |
| mysql |
| test |
+--------------------+
4 rows in set (0.01 sec)
使用Syslog：
mysql> USE Syslog;
查看表：
mysql> SHOW TABLES;
+------------------------+
| Tables_in_Syslog |
+------------------------+
| SystemEvents |
| SystemEventsProperties |
+------------------------+
2 rows in set (0.01 sec)
创建用户、密码
mysql> GRANT ALL ON Syslog.* TO rsysloguser@127.0.0.1 IDENTIFIED BY 'rsyslogpass';
Query OK, 0 rows affected (0.01 sec)
mysql> GRANT ALL ON Syslog.* TO rsysloguser@localhost IDENTIFIED BY 'rsyslogpass';
Query OK, 0 rows affected (0.00 sec)
刷新权限：
mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)
重启rsyslog：
# service rsyslog restart
Shutting down system logger:
Starting system logger:
客户端安装tree程序:
1
# yum -y install tree
查看服务器的客户端日志文件：
1
2
# tail -f /var/log/messages
Mar 26 23:03:57 iptablesInclient yum: Installed: tree-1.5.3-2.el6.x86_64
查看服务器mysql记录日志：
1
2
3
4
5
6
7
8
9
mysql> use Syslog;
Database changed
mysql> SELECT FromHost,ReceivedAt,DeviceReportedTime,Message FROM SystemEvents\G;
*************************** 1. row ***************************
FromHost: iptablesInclient
ReceivedAt: 2016-04-20 11:16:36
DeviceReportedTime: 2016-03-26 23:03:57
Message:Installed: tree-1.5.3-2.el6.x86_64
1 row in set (0.00 sec)
通过loganalyzer展示
安装并设置LAMP环境
1
# yum -y install httpd php php-mysql php-gd mysql-server
启动httpd服务:
1
2
# service httpd start
Starting httpd:
提供测试页:
1
2
3
4
# vim /web/htdocs/index.php
<?php
phpinfo();
?>
测试访问web测试页:
安装LogAnalyzer
1
2
3
4
5
6
7
8
9
10
11
12
13
# tar xf loganalyzer-3.6.5.tar.gz ^C
# cd loganalyzer-3.6.5
# mkdir -p /web/htdocs/loganalyzer
# rsync -a src/* /web/htdocs/loganalyzer/
# cp contrib/* /web/htdocs/loganalyzer/
# chmod +x /web/htdocs/loganalyzer/configure.sh
# chmod +x /web/htdocs/loganalyzer/secure.sh
# cd /web/htdocs/loganalyzer/
# ./configure.sh
# ./secure.sh
# touchconfig.php
# chmod 666 config.php
# chown -R apache.apache ./*
在浏览器安装向导中安装LogAnalyzer
打开浏览器访问：http://172.16.100./loganalyzer/
提示没有配置文件，点击 here 利用向导生成。
第一步：测试系统环境
点击 “Next”，进入第二步。
点击 “Next”，进入第三步
在User Database Options 中，填入上面设置的参数，然后点击 Next.
点击 Next 开始创建表
检查SQL结果
创建管理用户
创建第一个系统日志source
完成配置:
LogAnalyzer 首页
Rsyslog + LogAnalyzer 日志服务器部署完毕
页:
[1]