civilvar 发表于 2019-1-29 13:49:30

【logstash】

  elasticsearch:是一个基于Lucene构建的开源,分布式,RESTful搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。

  logstash:用来收集日志,集成各种收集日志插件。
  kibana:为 Logstash 和 ElasticSearch 提供的日志分析的 Web 接口。
  

  http://www.logstash.net/docs/1.4.2/
  http://www.elasticsearch.org/
  

  数据格式如下:
2014-09-04 09:38:00 /A/B/叶随风(yesuifeng) 192.168.168.168 hhttp://www.logstash.net/docs/index.html allowed
2014-09-04 09:38:00 /A/B/C/叶(ye) 10.10.10.10 hhttp://www.logstash.net/docs/index.html allowed
2014-09-04 09:38:00 /A/D/随风(suifeng) 172.16.10.10 hhttp://www.logstash.net/docs/index.html allowed  

  

  创建logstash配置文件,如下:
input{
      file{
                path => "/huang/tmp/1"
                start_position => "beginning"
      }
}
filter{
      grok{
                match => { "message" => "%{MYTESTLOG}" }
      }

}
output{
elasticsearch { host => localhost }
stdout { codec => rubydebug }
}  

  

  

  logstash/patterns下创建mylog文件,内容如下:
MYDATE %{YEAR}[/-]%{MONTHNUM}[/-]%{MONTHDAY} %{HOUR}:%{MINUTE}:%{SECOND}
MYUSER /[^)]*\)
MYTESTLOG %{MYDATE:ndate} %{MYUSER:nuser} %{IP:uip} %{URI:nurl} %{GREEDYDATA:nother}  

  




页: [1]
查看完整版本: 【logstash】