logstash实战filter插件之grok（收集apache日志）

yanfei

　　有些日志（比如apache）不像nginx那样支持json可以使用grok插件
　　grok利用正则表达式就行匹配拆分
　　预定义的位置在
　　/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.5/patterns
　　apache的在文件grok-patterns

　　查看官方文档
　　https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.html
　　vim /etc/logstash/conf.d/grok.conf
　　

input{　　stdin{}
　　
}
　　

　　
filter {
　　grok {
　　match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" }
　　}
　　
}
　　

　　

　　
output{
　　stdout{
　　codec => rubydebug
　　}
　　
}
　　

　　

　　启动
　　/opt/logstash/bin/logstash -f grok.conf
　　输出

　　PS：grok非常影响性能，不灵活，可以使用logstash - redis - python -es
　　vim apache_grok.conf
　　运行输出
　　/opt/logstash/bin/logstash -f apache_grok.conf