玩儿透ELK日志分析集群搭建.调优.管理（rsyslog

sunny03

  实时日志分析作为掌握业务情况、故障分析排查的一个重要手段，目前使用最多最成熟的莫过于ELK方案，整体方案也有各种架构组合，像rsyslog->ES->kibana、rsyslog->Redis->Logstash->ES->kibana、rsyslog->kafka->Logstash->ES->kibana等等，复杂点的有spark的引用。每种方案适合不同的应用场景，没有优劣之分，我目前用的是rsyslog->kafka->Logstash->ES->kibana和rsyslog->rsyslog中继->kafka->Logstash->ES->kibana方案，共5台ES（12核、64G、机械盘）每天索引10多亿条日志，包含nginx、uwsgi、redis、php开发日志等，运行比较健壮，每条索引日志精简后在10个字段左右，每天PrimaryShard的索引量大概在600个G，考虑到性能问题，我们没要复制分片，同时着重做了ES集群的调优，日志保留7天。
　　  从整体架构进行抽象总结，其实就是采集->清洗->索引->展现四个环节，再去考虑各环节中缓存、队列的使用，每个环节点用不同的软件来实现。下面介绍一下我目前方案集群的搭建和配置。希望对同行有所帮助，也算积福德了，在ELK探索过程中多谢远川和冯超同学的奉献交流。
　　.............
　　浏览全部请点击运维网咖社地址：玩儿透ELK日志分析集群搭建.调优.管理（rsyslog->kafka->elk)