ELK中如何搭建客户端客户端如何将日志发送给服务端的logstash

23313

【背景】
我们要统一收集日志，统一分析，统一在一个平台上搜索过滤日志！在上一篇中已经完成了ELK的搭建，那么该如何将每台客户端的日志集中到ELK平台中呢？

【本系统介绍】

ELK -- 192.168.100.10  (这个地方要有FQDN 创建SSL证书的时候需要配置FQDN，www.elk.com)

被收集日志的客户端(也叫 logstash shipper)  --- 192.168.100.13


ELK环境:
[iyunv@master ~]# ifconfig | grep 192.168.100  
          inet addr:192.168.100.10  Bcast:192.168.100.255  Mask:255.255.255.0
[iyunv@master ~]# cat /etc/hosts | grep 192.168.100.10
192.168.100.10 www.elk.com
[iyunv@master ~]# cat /etc/issue
CentOS release 6.4 (Final)
Kernel \r on an \m


客户端(logstash shipper)环境:
[iyunv@slave ~]# ifconfig | grep "192.168."  
          inet addr:192.168.100.13  Bcast:192.168.100.255  Mask:255.255.255.0
[iyunv@slave ~]# cat /etc/hosts | grep 192.168.100.10
192.168.100.10 www.elk.com
[iyunv@slave ~]# cat /etc/issue
CentOS release 6.4 (Final)
Kernel \r on an \m


【client 和 server是如和通信的】
参考:
http://udn.yyuap.com/doc/logstas ... rt/full_config.html



【通信架构图】

server端中的logstash配置文件(即-f后面指定的文件)
/usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/logstash.conf

一定有一个input端和一个output端
input端可以来自本地文件，也可以来自其他机器通过网路(端口)传输过来的

所以logstash的C/S架构就要通过网络进行传输




原理解释客户端安装一个logstash-forwarder软件，将指定的文件中的日志输出到logstash 中(他已经有端口在监控并接收来自forwarder客户端的输入)



【client传输到server的方案】
参考:http://udn.yyuap.com/doc/logstas ... tash_forwarder.html



【server端的配置】

1 首先需要创建CA证书为Server
cd /etc/pki/tls/
openssl req -subj '/CN=www.elk.com/' -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt

在将logstash-forwarder.crt拷贝到client端
scp certs/logstash-forwarder.crt 192.168.100.13:/etc/pki/tls/certs/

2 server段的logstash.conf的配置
[iyunv@master tls]# cat /usr/local/logstash/etc/logstash.conf
input {
  file {
    type =>"syslog"
     path => ["/var/log/messages", "/var/log/secure" ]
  }

  lumberjack {
    port => 5000
    type => "logs"
    ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
    ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
  }
}
output {
  stdout { codec=> rubydebug }
  elasticsearch {hosts => "192.168.100.10:9200" }
}



(标黄色的是，这种架构中一定要得配置，解释一下连个字段)
lumberjack 是 logstash-forwarder 还没用 Golang 重写之前的名字
type => "anything"  type任意指定，无所谓




3 启动logstash

/usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/logstash.conf &
或者使用screen命令一让其一直在后台运行



【客户端的安装forwarder和配置】
下载软件
wget https://download.elastic.co/logs ... -0.4.0-1.x86_64.rpm

安装
yum localinstall logstash-forwarder-0.4.0-1.x86_64.rpm

注意两个文件
一个配置文件 /etc/logstash-forwarder.conf
一个日志目录 /var/log/logstash-forwarder/

保存原始文件
cp /etc/logstash-forwarder.conf  /etc/logstash-forwarder.conf.orig

修改logstash-forwarder.conf为

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

{   "network": {     "servers": [ "www.elk.com:5000" ],     "ssl ca": "/etc/pki/tls/certs/logstash-forwarder.crt",     "timeout": 15   },   "files": [     {       "paths": [         "/var/log/messages",         "/var/log/secure"       ],       "fields": { "type": "syslog" }     }, {       "paths": [         "其他路径的文件"       ],       "fields": { "type": "nginx" }     }   ] }

注意:

1	servers": [ "www.elk.com:5000" ]

一定要写域名，不能写server端的IP，因为写IP不能通过证书的认知
"ssl ca" 一定要正确写明路径



【验证】
客户端执行

1	[iyunv@slave ~]# echo "我是logstash的客户端，通过forward到server端的" >> /var/log/secure

查看kibana前端





【接下来研究啥】
1 elk的index
2 多日志文件
3 logstash中的配置文件详解

jared

支持楼主~