ElasticSearch+LogStash+Kibana+Redis日志管理平台搭建记录

wsaer

这两天研究了一下ElasticSearch+LogStash+Kibana+Redis日志管理平台，为防止过节遗忘，记录一下主要的信息：


快速安装可以参考（博客里有远程的部分，配置为本地ip即可安装到同一台机器）：http://nkcoder.github.io/blog/20141031/elkr-log-platform-deploy/
按步骤一步一步实现，比较简单快捷，可以快速看到效果。


redis安装过程的问题可以参考：http://blog.mkfree.com/posts/5254f952479e1dd72e7c1b48


Kibana放置在静态http服务器中即可，如果安装apache server，可参考：http://19055.blog.iyunv.com/9055/1167930
apache sever的配置参数说明：https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/3/html/Reference_Guide/s1-apache-config.html
（发布路径配置参数：DocumentRoot）


elasticsearch集群配置参考：
http://www.cnblogs.com/dennisit/p/4132269.html
http://blog.csdn.net/changong28/article/details/38377863


实际集群的elasticsearch.yml主要的配置参数（部署在两台机器上，两个节点，一个主，一个备）：
cluster.name: elasticsearch##集群名称要一致
discovery.zen.minimum_master_nodes: 2 ##最少的主节点数量，需要根据集群总节点数调整
discovery.zen.ping.timeout: 30s##增加等待时间
discovery.zen.ping.multicast.enabled: false##关闭组播，使用单播
discovery.zen.ping.unicast.hosts: ["192.168.0.1:9300"]##设置两一个节点的ip和端口

Make sure to increase the number of open files descriptors on the machine (or for the user running elasticsearch). Setting it to 32k or even 64k is recommended.
系统主机的文件句柄数建议设置为32k甚至64k，linux主机的默认句柄数一般1024，随着文件数量的增加将会发生文件句柄数量太多异常
一种不改变系统配置的方法是把“ulimit -n 32768” 加到bin/elasticsearch执行脚本中
elasticsearch配置说明：http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/setup-configuration.html



学习资料地址：
logstash:（Logstash 最佳实践）https://github.com/chenryn/logstash-best-practice-cn、（官方文档）http://www.elasticsearch.org/guide/
ElasticSearch:（ElasticSearch 权威指南）http://fuxiaopang.gitbooks.io/learnelasticsearch/、(Mastering Elasticsearch(中文版))http://shgy.gitbooks.io/mastering-elasticsearch/
Kibana：(Kibana 中文指南)http://kibana.logstash.es/