logstash收集tomcat

ouzhoudijie

　　架构图

http://s1.运维网.com/images/20180426/1524734660696214.png

　　本次没有使用redis，直接用logstash（生产环境的话，建议搭建使用filebeat）收集到的数据送到es中去，这样的坏处，当量大的话，导致es压力上去
　　1，安装
　　jdk，es，kibana省略。。。
#安装tomcat
[root@localhost ~]# wget https://archive.apache.org/dist/tomcat/tomcat-8/v8.0.38/bin/apache-tomcat-8.0.38.tar.gz
[root@localhost ~]# tar xvf apache-tomcat-8.0.38.tar.gz
[root@localhost ~]# mv apache-tomcat-8.0.38 /data/application/tomcat　　2，启动tomcat

#来个简单界面
[root@localhost ~]#mkdir /data/application/tomcat/webapps/webdir
[root@localhost ~]#echo "Hello,Tomcat" > /data/application/tomcat/webapps/webdir/index.html#启动tomcat
[root@localhost webapps]# /data/application/tomcat/bin/startup.sh
Using CATALINA_BASE:   /data/application/tomcat
Using CATALINA_HOME:   /data/application/tomcat
Using CATALINA_TMPDIR: /data/application/tomcat/temp
Using JRE_HOME:        /data/application/jdk1.8.0_91/
Using CLASSPATH:       /data/application/tomcat/bin/bootstrap.jar:/data/application/tomcat/bin/tomcat-juli.jar　　进行访问

http://s1.运维网.com/images/20180426/1524732681765880.png

　　3，修改tomcat日志为json格式

　　#根据自己需要修改
　　[root@localhost tomcat]# vim /data/application/tomcat/conf/server.xml

http://s1.运维网.com/images/20180426/1524732947874709.png

　　
#停止tomcat
[root@localhost tomcat]# ./bin/shutdown.sh
#启动tomcat
[root@localhost tomcat]# ./bin/startup.sh　　4，查看tomcat日志格式

http://s1.运维网.com/images/20180426/1524733114712590.png

　　#验证json日志
　　https://www.json.cn

http://s1.运维网.com/images/20180426/1524733164604591.png

　　4，测试logstash配置文件

　　[root@localhost server_config]# /data/application/logstash-5.2.0/bin/logstash -f tomcat.conf -t

http://s1.运维网.com/images/20180426/1524733964206819.png

#启动logstash服务
[root@localhost server_config]# cat tomcat.conf
input {
  file {
    path => "/data/application/tomcat/logs/tomcat_access_log*.log"
    start_position => "end"                    
    type => "tomcat-log"               
    stat_interval => "3"
  }
}
output {
  if [type] == "tomcat-log" {      
    elasticsearch {
      hosts => ["192.168.201.135:9200"]   
      index => "tomcat-access-%{+YYYY.MM.dd}"
      codec => "json"            
    }}
}
[root@localhost server_config]# /data/application/logstash-5.2.0/bin/logstash -f tomcat.conf

http://s1.运维网.com/images/20180426/1524734015557164.png

　　5，查看es状况

http://s1.运维网.com/images/20180426/1524734098848591.png

　　6，kibana效果

http://s1.运维网.com/images/20180426/1524734133343818.png

　　至此tomcat收集日志结束
　　注意：

• 　　logstash的output中，输入同一个集群的不同机器上效果是一致的，因为他们是一个集群。当然也可以指定输出到不同的集群中。
  

　　2. 从kibana Tomcat页面中可以看出，Tomcat日志，已经变成了json格式，这是由于logstash中指定了参数codec="json" 的结果，否则kibana这里就是一坨
　　3. 这个坑是关于时间同步的，如果kibana与你的logstash时间不同步，kibana上的日志可能无法显示，这就需要养成做标准化的习惯，切记