Tomcat容器日志收集方案fluentd+elasticsearch+kilbana

ycvodzf

　　在上一遍博文中我们介绍了Nginx容器访问日志收集的方案，我们使用EFK的架构来完成对容器日志内应用日志的收集，如果不知道什么是EFK架构，那么请访问以下链接获取相关的帮助
　　Nginx容器日志收集方案fluentd+elasticsearch+kilbana
　　

　　如果你已经认真阅读了上面的链接，并撑握了其用法，那么再来看本博文（针对于初学者），下面假设我们已经搭建好了上一讲所需要的基础环境，我们接下来就直接开始步入正题。
　　

　　在步入正题之前我们首先需要确认我们需要完成的目标与效果，同样我们在启动Tomcat容器的时候使用fluentd日志驱动，将标准输出的日志发送到fluentd服务端，然后通过fluentd服务端处理日志发送至ES，最后再通过kilbana展示日志。就这么简单？NO NO NO!!!经测试默认情况下Tomcat容器（docker hub官方镜像）内catalina的日志会自动从stdout输出，并发送到fluentd服务端，但access日志不会，这是我们第一个需要解决的技术问题，另外Tomcat的日志默认情况下是每天滚动生成，每天日志名称都不一样，这是我们需要解决的第二个问题，假设我们解决了以上两个问题，最后还会存在一个问题，也就是我们输出的日志有两种类型，我们又如何通过fluentd服务端区分不同的日志，并发送到ES存储为不同的Index。我们明白了目标和技术难题下面我们就一步一步来解决。
　　

　　第一个问题解决方法（先解决第二个问题再解决第一个问题）：
　　我们可以手工指定将access日志输出到/dev/stdout，所以此方法刚下载下来的镜像无法直接使用，我们需要重新build该镜像创建一个/dev/stdou的软链接到Tomcat的access日志文件路径。
ln -s /dev/stdout  /usr/local/tomcat/logs/localhost_access_log.txt　　第二个问题解决方法：
　　默认docker hub官方的tomcat镜像的日志是每天滚动生成的，所以我们需要重新build该镜像，关闭日志的滚动生成
　　关闭catalina日志的滚动生成
　　编辑容器内配置文件：/usr/local/tomcat/conf/logging.properties
#下面这一行是已经存在的一行，用来定义文件的前缀
1catalina.org.apache.juli.AsyncFileHandler.prefix = catalina.
#下面两行是需要加入的内容，分别为定义文件的后缀和关闭日志轮替，最终日志名称为catalina.out
1catalina.org.apache.juli.AsyncFileHandler.suffix = out
1catalina.org.apache.juli.AsyncFileHandler.rotatable = False　　关闭access日志的滚生成
　　编辑配置文件：/usr/local/tomcat/conf/server.xml
#配置中rotatable="false"是我们加入的内容，而pattern里面的内容是我们需要修改为的内容，用来将访问日志转换为json格式用来关闭日志的轮替，最终日志名称为localhost_access_log.txt
        　　第三个问题解决方法：
　　这里我们可以采用通过fluentd服务端对收集过来的日志再进行过滤，分类重新打标签，最后再发送到ES存为不同的Index，修改fluentd服务端配置文件如下：
#如果没有rewrite-tag-filter插件请安装gem install fluent-plugin-rewrite-tag-filter

  @type forward
  port 24224
  bind 0.0.0.0

#下面根据tomcat.test.docker标签进行过滤，因为里面有两种日志输出，分别为access和catalina

  @type copy
  
    @type rewrite_tag_filter
    #这里是匹配我们的catalina日志，根据log字段用正则匹配，这里需要根据自己字段进行修改正则
    rewriterule1 log ^\d.*$ catalina.${tag}
   
  
    @type rewrite_tag_filter
    #因为我们的访问日志转换为了json，所以开头一定为{，这里根据正则匹配，匹配到后重新打tag
    rewriterule1 log ^{.*$ access.${tag}
  

#对访问日志做json转换，**代表任何字符

  @type parser
  format json
  key_name log

#将访问日志输出到ES，索引名为tomcat.test.docker.access

  @type elasticsearch
  host 192.168.1.23
  port 9200
  logstash_format true
  logstash_prefix tomcat.test.docker.access
  logstash_dateformat %Y-%m-%d
  flush_interval 5s
  type_name docker_container_log
  include_tag_key true

#将catalina日志输出到ES，索引名为tomcat.test.docker.catalina

  @type elasticsearch
  host 192.168.1.23
  port 9200
  logstash_format true
  logstash_prefix tomcat.test.docker.catalina
  logstash_dateformat %Y-%m-%d
  flush_interval 5s
  type_name docker_container_log
  include_tag_key true
　　完成以上配置以后我们只要启动我们的fluentd服务端服务和Tomcat容器，并访问下我们的Tomcat站点，这时候就可以在ES中查看到我们所需要的Index了
systemctl start td-agent
docker run -dit -p 80:8080 --log-driver=fluentd --log-opt fluentd-address=192.168.3.232:24224 --log-opt tag="tomcat.test.docker" tomcat　　上面需要注意tag，需要和fluentd服务端配置文件里面接收的tag一样
　　

　　最后还有一个技术问题，一直没有解决，需要大家独立思考，如果有好的解决方案可以在博文中留言，如果后续我解决了，会及时更新此博文。问题就是catalina的错误日志多行合并处理，目前没有找到适合的方法
　　.