ELK+Redis日志流程展示

lrx182125

　　业务流程架构图：

　　一个基于logstash,redis,elasticSearch,kibana的一套数据收集分析的系统
　　架构图描述：
　　日志收集系统：（数据来源）生产者产生的日志记录行为，通过被logstash收集、转发，然后传送给redis做序列话，最后通过ELK处理分析展示。
　　elasticSearch会对数据做存储，索引（基于Lunce），再kibana中建立对elasticSearch的链接，实时的抓取索索引后的数据，这样数据就可以实时的进行展示，通过一些数据组装，查询条件，得到我们想要的结果（可以通过各种方式例如图表，表格，折线图等显示）
　　效果图：

　　####
　　一、ELK搭建
　　http://dbspace.blog.51cto.com/6873717/1879106
　　二、Redis部署
　　注意redis必须是3.0版本以上，不然会有各种问题，之前遇到坑
　　三、根据架构编写logstash的日志收集配置
　　[root@mycat conf]# cat /usr/local/logstash/conf/logstash_client.conf
　　input{
　　file{
　　type => "log_count"
　　path => "/var/log/messages"
　　}
　　}
　　output{
　　redis{
　　host => "192.168.1.114"
　　port => 6379
　　data_type => "list"
　　key => "key_count"
　　db => 0
　　}
　　}
　　四、编写logstash的配置从redis读取数据转发到ELK
　　[root@mycat conf]# cat /usr/local/logstash/conf/logstash_server.conf
　　input{
　　redis{
　　host => "192.168.1.114"
　　port => 6379
　　type => "redis-input"
　　data_type => "list"
　　key => "key_count"
　　db => 0
　　}
　　}
　　output{
　　elasticsearch{
　　hosts =>"192.168.1.114:9200"
　　codec =>"json"
　　}
　　}
　　###红色部分要相同
　　启动2个服务
　　/usr/local/logstash/bin/logstash -f /usr/local/logstash/conf/logstash_server.conf &
　　/usr/local/logstash/bin/logstash -f /usr/local/logstash/conf/logstash_client.conf &
　　五、饼图分析