352262 发表于 2019-1-8 07:08:02

elk6.3.1+zookeeper+kafka+filebeat收集dockerswarm容器日志

　　前面有说过使用redis来缓解elk的数据接受压力，但是呢，如果redis面对突发情况也会承受不住的，这里需要借助两个工具，zookeeper和kafka
　　Zookeeper主要值借助分布式锁，保证事务的不变，原子性隔离性。。。
　　Kafka消息队列，从生产这到filebeta再到消费这logstash接受到es中，起到缓存，减缓压力
　　
　　来吧开始往上怼了
　　
　　首先下载zookeeper和卡夫卡
wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
　　
wget http://mirror.bit.edu.cn/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz
　　
　　
　　这里需要注意我是单台服务器安装的，要添加hosts
　　 http://s1.运维网.com/images/20180802/1533188065437458.png
　　这里zookeeper和卡夫卡的安装可以参考文档：
　　http://www.cnblogs.com/saneri/p/8822116.html
　　只需要zookeeper和kafka参考就行了，注意修改ip和hostname
　　
　　完成后验证：
　　 http://s1.运维网.com/images/20180802/1533188082490353.png
　　http://s1.运维网.com/images/20180802/1533188094273981.png
　　
　　Zookeeper+Kafka集群测试
　　创建topic：
　　http://s1.运维网.com/images/20180802/1533188126381561.png
　　显示topic：
　　
　　 http://s1.运维网.com/images/20180802/1533188139527247.png
　　行了这个成功之后开始配置filebeat，这里换是收集dockerswarm集群的tomat和nginx容器的日志
　　 http://s1.运维网.com/images/20180802/1533188156743302.png
　　
　　filebeat.prospectors:
　　- type: log
　　enabled: true
　　paths:
　　    - /var/log/docker-nginx/access_json.log
　　fields:
　　    log_topics: 192.168.9.36-nginx
　　- type: log
　　enabled: true
　　paths:
　　    - /var/log/docker-tomcat/catalina.out
　　fields:
　　    log_topics: 192.168.9.36-tomcat
　　#    include_lines: ['ERROR','WARN']
　　#    exclude_lines: ['DEBUG']
　　output.kafka:
　　   enabled: true
　　   hosts: ["node1:9092"]
　　   topic: '%{}'
　　   partition.hash:
　　   reachable_only: true
　　   compression: gzip
　　   max_message_bytes: 1000000
　　   required_acks: 1
　　
　　 http://s1.运维网.com/images/20180802/1533188179270306.png
　　
　　接下来配置logstash
http://s1.运维网.com/images/20180802/1533188202818882.png
http://s1.运维网.com/images/20180802/1533188213291537.png
　　input {
　　    kafka{
　　       bootstrap_servers => "node1:9092"
　　       topics => ["192.168.9.36-nginx","192.168.9.36-tomcat"]
　　       codec => "json"
　　       consumer_threads => 1
　　       decorate_events => true
　　       auto_offset_reset => "latest"
　　   }
　　}
　　
　　filter{
　　 date{
　　    match=>["logdate","MMM dd HH:mm:ss yyyy"]
　　    target=>"@timestamp"
　　    timezone=>"Asia/Shanghai"
　　}
　　ruby{
　　   code =>"event.timestamp.time.localtime+8*60*60"
　　}
　　}
　　
　　output {
　　   if == "192.168.9.36-nginx" {
　　       elasticsearch {
　　            hosts => ["http://192.168.9.142:9200"]
　　            index => "192.168.9.36-nginx-%{[@metadata]}-%{+YYYY.MM.dd}"
　　            }
　　
　　}
　　
　　
　　   if == "192.168.9.36-tomcat" {
　　       elasticsearch {
　　            hosts => ["http://192.168.9.142:9200"]
　　            index => "192.168.9.36-tomcat-%{[@metadata]}-%{+YYYY.MM.dd}"
　　            }
　　
　　}
　　
　　}
　　
　　
　　完成后启动，然后测试一下
　　 http://s1.运维网.com/images/20180802/1533188233107729.png
　　

　　 http://s1.运维网.com/images/20180802/1533188245945694.png
　　去查看一下
　　
　　 http://s1.运维网.com/images/20180802/1533188266237111.png
　　http://s1.运维网.com/images/20180802/1533188280989171.png
　　

　　
http://s1.运维网.com/images/20180802/1533188292850259.png



页: [1]
查看完整版本: elk6.3.1+zookeeper+kafka+filebeat收集dockerswarm容器日志