filebeat+redis+elk日志平台搭建

terte

filebeat+redis+elk
系统：centos7.1 x86_64
filebeat: 6.2.3
logstash: 6.2.3
elasticsearch: 6.2.3
kibana: 6.2.3
架构如下：

配置yum源：
导入验证文件
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
创建yum repo文件：
cat /etc/yum.repos.d/elasticsearch-6x.repo
[elasticsearch-6.x]
name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
安装软件：
yum install filebeat logstash elasticsearch kibana -y
系统架构：
filebeat +redis+ logstash+ elasticsearch + kibana
使用beat的原因为logstash需要依赖java环境，对cpu和内存消耗都比较大，所以filebeat应运而生，对cpu和内存基本没有消耗。
使用redis 的原因是当多个clinet同事写入到logstash或者elasticsearch 时候，有io瓶颈，所以选择了redis ,当然可以使用kafka，rabbitmq等消息中间件。
配置filebeat(注意为yaml语法，什么是yaml自己google):
filebeat.prospectors:

• type: log
  enabled: true
  paths:
  
  • /var/log/*.log ###监控的文件
    

输出到redis：
##-------------------------- redis  output ------------------------------------
output.redis:
hosts: ["192.168.147.190"]
password: "6lapp"
key: "log_file"
db: 0
timeout: 5
logstash配置，只是写了最简单的input和output，需要filter的可以去github上面找正则去匹配，有点繁琐就没有写：
cat /etc/logstash/conf.d/redis_logstash.conf
input {  
redis {  
port => "6379"  
host => "192.168.147.190"  
password => "6lapp"
data_type => "list"  
type => "log"  
key => "log_file"  
}  
}  
output {  
elasticsearch {  
hosts => "192.168.147.190:9200"  
index => "logstash-%{+YYYY.MM.dd}"  
}   
}
elasticsearch配置，这里没有建立集群，elaticsearch 有自动发现功能，所以只是需要配置ip和端口即可：
---------------------------------- Network -----------------------------------#
Set the bind address to a specific IP (IPv4 or IPv6):#
network.host: 192.168.147.190
#
Set a custom port for HTTP:#
http.port: 9200
#
For more information, consult the network module documentation.#
kibana配置需要修改端口ip和 elasticsearch的地址即可：
server.port: 5601
server.host: 192.168.147.190
elasticsearch.url: "http://192.168.147.190:9200"
启动：
systemctl start redis
systemctl start filebeat
logstash -f /etc/logstash/conf.d/redis_logstash & 或者使用nohup启动 或者使用screen启动
systemctl start elasticsearch
systemctl start kibana
启动之后查看进程和端口：
访问一下http://192.168.147.190:5601 可以操作kibana了，整个日志系统初步搭建完成，需要使用完善一下logstash的配置文件即可
创建测试文件：
touch /var/log/test.log
for ((i=0 ;i<=10000 ;i++ ));do echo "test.log 0000000" >> test.log ;done
kibana截图：

注意：
kibana的时间和系统的时间是否一致，否则可能导致看不到图像，这个是我猜的一个坑。
参考文件：
https://www.elastic.co

北极小熊

谢谢分享

lxtxwyl

谢谢分享