ELK最新版实战配置检索nginx日志

2321e21

说明: 本文只是对相应的功能进行简介，并不会具体介绍部署方案，因为所有的包都是使用的tar.gz格式解压直接可用的，如果有什么不懂的地方或是本人有说错的地方，欢迎大家提问和质疑，也欢迎大家一起交流学习。
环境：
OS:ubuntu14.0

Kernel:3.13.0-24-generic
logstash:1.5.1
elasticsearch:1.6.0

kibana:4.1
nginx:1.9.1
tomcat:7.0
java:1.7.0

Step1:
所有ELK的安装包都可以去官网下载，虽然速度稍慢，但还可以接受，官网地址：
    https://www.elastic.co/
Step2：
配置安装nginx，这里不做详细安装介绍，有需要请参考以下链接：
    http://note.youdao.com/share/?id=41198b582303e7cae269763f285f3bfc&type=note
nginx日志格式配置：

1 2 3

log_format  www_log  '$remote_addr - $remote_user [$time_local] "$request" $request_time '                      '$status $body_bytes_sent "$http_referer" '                      '"$http_user_agent" "$http_x_forwarded_for"';

Step3：
在Logstash1.5.1版本，pattern的目录已经发生改变，存储在/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-0.1.10/目录下，但是好在配置引用的时候是可以对patterns的目录进行配置的，所以本人在Logstash的根目录下新建了一个patterns目录。而配置目录在1.5.1版本中也不存在了，如果是rpm包安装的，可以在/etc/logstash/conf.d/下面进行配置，但个人测试多次，这样启动经常性的失败，目前还没有去分析原因(个人不推荐使用RPM包安装)。所以大家可以采用Nohup或者screen的方式进行启动
专属nginx的pattern配置：

1	NGINXACCESS %{IP:client} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:http_version})?|-)\" %{HOST:domain} %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:useragent} "(%{IP:x_forwarder_for}|-)"

以上格式是本人在以下网址一点一点测试出来的，其实的每一个%后面跟的参数都对应了nginx日志的相应内容（如果有其它日志检索的需要，可以在“http://grokdebug.herokuapp.com/”进行格式的测试）。通过logstash的filter功能中的grok方法，引用相关的pattern，对日志内容进行分类传输给elasticsearch，这样才能在Kibana上根据标签检索想要的信息。
Step4：
logstash启动配置(conf/log.conf)：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

input {     file {         type => "test_nginx"         path => "/opt/nginx/logs/access.log"         }     file {         type => "test_tomcat"         path => "/opt/tomcat/logs/catalina.out"         } } filter {     grok {         type => "test_nginx"         pattern => "%{NGINXACCESS}"         patterns_dir => ["/data/log_monitor/logstash/pattern"]         }     geoip {         type => "test_nginx"         source => "client"         add_tag => "[geoip]"         } } #说明，在这里引用了geoip模块，但是此模块在国内用起来不是很理想，国内的网络环境太复杂了。另外，配置的时候注意类型及其各个参数的对应，不然检索的时候可能会失败。 output {     elasticsearch {         type => "test_nginx"         host => "192.168.0.1"         }     elasticsearch {         type => "test_tomcat"         host => "192.168.0.1"         } }

Step5：
建议安装elasticsearh的head扩展模块，可以通过网页查看集群及日志的状态，安装方法：

1	sh elasticsearch/bin/plugin -install mobz/elasticsearch-head

访问地址：

http://192.168.0.1:9200/_plugin/head/
Step6：
启动ELK

1 2 3

nohup sh logstash/bin/logstash -f logstash/conf/log.conf & nohup sh elastic/bin/elastcisearch & nohup sh kibana/bin/kibana &

编后语：看起来是不是很简单？本人在安装完成后，觉得十分不易，其它论坛网站也有不少文档可以参考，但是说的内容都不是很清晰。其实我个人也是看了许久官网文档介绍才搞清楚怎么回事，提醒一下，官方文档（虽然是英文的）已经说明的很清楚了，仔细发现与观察，很快就能掌握。目前正在深入学习Kibana相关的功能模块，如果有所成果，一定会再次分享！