tomcat 访问日志源码分析与应用

23rewr

   tomcat 日志可以分为两类：  

   1、访问日志，记录访问的时间、来源、资料等相关信息（ServletRequest 可以获取的信息，都可以记录）；
    2、运行日志，记录tomcat 运行、异常、错误信息。

      tomcat 的日志记录常会被 log4j 或 slf4j 取代，不过这里不讨论另外日志组件，很纯粹地说一下tomcat 原生的访问日志。关于运行日志的分析，有机会再另写一篇。对于访问日志，tomcat 定义了以下接口：
     public interface AccessLog {    // 记录访问日志    public void log(Request request, Response response, long time);    // ip    public static final String REMOTE_ADDR_ATTRIBUTE =        "org.apache.catalina.AccessLog.RemoteAddr";    // 主机名    public static final String REMOTE_HOST_ATTRIBUTE =        "org.apache.catalina.AccessLog.RemoteHost";    // 访问协议    public static final String PROTOCOL_ATTRIBUTE =        "org.apache.catalina.AccessLog.Protocol";    // 端口号    public static final String SERVER_PORT_ATTRIBUTE =        "org.apache.catalina.AccessLog.ServerPort";    // 设置是否记录ip，主机名，协议，端口号    public void setRequestAttributesEnabled(boolean requestAttributesEnabled);    public boolean getRequestAttributesEnabled();}
  
    一个默认的实现是 AccessLogValue（在 server.xml 配置的）。先看一下，如何配置和使用 AccessLogValue，在 $tomcat_home%/conf/server.xml 里，有一下代码：
  
  
    参数的含义如下：

  className：访问日志的实现类（implements AccessLog）
  directory： 日志的位置
  prefix：日志名称的前缀
  suffix：日志名称的后缀
  pattern：日志模式的参数，（模式参数的设置可以参考附录）
  更多参数的设置可以查看 AccessLogValue 的参数。

    对于 pattern ，tomcat 提供了两种便捷的 pattern 简写：common：%h %l %u %t "%r" %s %b；combined - %h %l %u %t "%r" %s %b "%{Referer}i" "%{User-Agent}i"
    因为上述配置的方式，所以我们常看到日志记录文件如下（在 $tomcat_home$/logs/），下面日期的产生，是代码产生的：

    对于其他基础的字段设置的配置与源码编写，理解起来应该不大（类似平常地解释 xml 文件），下面重点讲一下的是，如果根据 patten 来写日志(建议先阅读以下附录）：
    pattern 写法有两种 %XXX 或 %{XXX}XX，使用代码分析分析 pattern，再根据 pattern 获取对应的信息，将信息写到一个 StringBuilder 即可。对 pattern 的分析如下：对于各种配置的参数a，A等，都应该属于一种 XXXElenment，另外对于空格或其他字符，增加一个 StringElement，那在分析 pattern 时，每遇到一个特殊的字符，就创建一个指定的 element，反之，创建一个 StringElement，对pattern 的分析如下：
  List list = new ArrayList();
boolean replace = false;
StringBuilder buf = new StringBuilder();
for (int i = 0; i < pattern.length(); i++) {
    char ch = pattern.charAt(i);
    if (replace) {
        /*
        * 用来处理 '{',如果在之后没有遇上 '}',将这个 '{'忽略，不处理。
        * 处理一下三种情况：
        * %{xxx}i  头字段信息
        * %{xxx}c cookie 信息
        * %{xxx}r ServletRequest 的某个 attribute
        * %{xxx}s HttpSession 的某个 attribut
        */
        if ('{' == ch) {
            StringBuilder name = new StringBuilder();
            int j = i + 1;
            for (; j < pattern.length() && '}' != pattern.charAt(j); j++) {
                name.append(pattern.charAt(j));
            }
            if (j + 1 < pattern.length()) {
                // j+1,跳过字符 '}x'
                j++;
                list.add(createAccessLogElement(name.toString(),
                        pattern.charAt(j)));
                i = j; // 跳过 %{xxx}x
            } else {
                // 单个字符，如 a，直接创建对应的 Element
                list.add(createAccessLogElement(ch));
            }
        } else {
            list.add(createAccessLogElement(ch));
        }
        replace = false;
    } else if (ch == '%') {
        replace = true;
        list.add(new StringElement(buf.toString()));
        buf = new StringBuilder();
    } else {
        buf.append(ch);
    }
}
if (buf.length() > 0) {
    list.add(new StringElement(buf.toString()));
}  

    通过上面的分析，我们就可以根据 pattern 得到需要的信息（存储在 list 里），对于各种 element 的创建如：
  ·  /*
* 根据 pattern，创建以下六种类型的信息之一：
* %{xxx}i  获取header 的某个 attribute
* %{xxx}c  获取cookie 的某个 attribute
* %{xxx}o  获取response 的某个 attribute
* %{xxx}r  获取request 的某个 attribute
* %{xxx}s  获取session 的某个 attribute
* %{xxx}t  获取dateAndTime 的某个 attribute
*/
protected AccessLogElement createAccessLogElement(String attribute, char pattern) {
    switch (pattern) {
    case 'i':
        return new HeaderElement(attribute);
    case 'c':
        return new CookieElement(attribute);
    case 'o':
        return new ResponseHeaderElement(attribute);
    case 'r':
        return new RequestAttributeElement(attribute);
    case 's':
        return new SessionAttributeElement(attribute);
    case 't':
        return new DateAndTimeElement(attribute);
    default:
        return new StringElement("???");
    }
}
    常规 element 的创建：
  protected AccessLogElement createAccessLogElement(char pattern) {
   switch (pattern) {
   case 'a':
       return new RemoteAddrElement();
   case 'A':
       return new LocalAddrElement();
   case 'b':
       return new ByteSentElement(true);
   case 'B':
       return new ByteSentElement(false);
   case 'D':
       return new ElapsedTimeElement(true);
   case 'F':
       return new FirstByteTimeElement();
   case 'h':
       return new HostElement();
   case 'H':
       return new ProtocolElement();
   case 'l':
       return new LogicalUserNameElement();
   case 'm':
       return new MethodElement();
   case 'p':
       return new LocalPortElement();
   case 'q':
       return new QueryElement();
   case 'r':
       return new RequestElement();
   case 's':
       return new HttpStatusCodeElement();
   case 'S':
       return new SessionIdElement();
   case 't':
       return new DateAndTimeElement();
   case 'T':
       return new ElapsedTimeElement(false);
   case 'u':
       return new UserElement();
   case 'U':
       return new RequestURIElement();
   case 'v':
       return new LocalServerNameElement();
   case 'I':
       return new ThreadNameElement();
   default:
       return new StringElement("???" + pattern + "???");
   }
}  

    对于各种 element，这里只给出其中几个，其他的类似：
  //accessElement 接口
protected interface AccessLogElement {
   public void addElement(StringBuilder buf, Date date, Request request,
           Response response, long time);
}
//sessionElement %{xxx}s
protected static class SessionAttributeElement implements AccessLogElement {
    private final String header;

    public SessionAttributeElement(String header) {
        this.header = header;
    }

    @Override
    public void addElement(StringBuilder buf, Date date, Request request,
            Response response, long time) {
        Object value = null;
        if (null != request) {
            HttpSession sess = request.getSession(false);
            if (null != sess) {
                value = sess.getAttribute(header);
            }
        } else {
            value = "??";
        }
        if (value != null) {
            if (value instanceof String) {
                buf.append((String) value);
            } else {
                buf.append(value.toString());
            }
        } else {
            buf.append('-');
        }
    }
}

// queryElement %q
protected static class QueryElement implements AccessLogElement {
    @Override
    public void addElement(StringBuilder buf, Date date, Request request,
            Response response, long time) {
        String query = null;
        if (request != null) {
            query = request.getQueryString();
        }
        if (query != null) {
            buf.append('?');
            buf.append(query);
        }
    }
}  

    知道访问日志的基本实现之后，下面来看一下如何去应用，让访问日志可以给实际项目带来效益，在这里就要求我们重新来看一下 pattern 到底可以为我们记录那些信息了，如何利用这些信息，获取一些对项目有用的信息：这里大概列举一些基本有用的信息：远程 ip%a，远程主机名%h，请求的协议%s，请求uri %U，查询参数 %q，响应的状态码，请求时间%t，响应时间%D,请求的用户%u，根据需要，我们还可以借助 request,session,response 获取一些额外的信息，如 user-Agent 等。拿到这些信息后，可以干些什么呢？？

  1、访问者所使用的媒体，哪一个浏览器，pc 还是 移动
  2、独立 ip 请求数（更具ip分析人群的地域分布）
  3、页面的访问量（那个页面最后欢迎，响应时间如何）
  4、404 的请求 uri
  5、导致 500 的uri
  6、指定的用户的访问行为
  7、访问的流量统计等

    既然是需要统计数据，那这些数据肯定不能存在txt里，最合适的地方莫过于数据库。一下是一个基本的参考，根据实际情况，重构和定制自己的需求（定制自己的 MyJdbcAccessLogValue）：
    tomcat 7 提供了一个 JdbcAccessLogValue，用于将数据存储到数据库里，JdbcAccessLogValue，可以存储的信息有：

  remoteHostField = "remoteHost";   
userField = "userName";   
timestampField = "timestamp";   
virtualHostField = "virtualHost";   
methodField = "method";   
queryField = "query";   
statusField = "status";   
bytesField = "bytes";   
refererField = "referer";   
userAgentField = "userAgent";

   使用 JdbcAccessLogValue，需要做一下配置，在$tomcat_home%/conf/server.xml 添加如下配置：
  <valve classname="org.apache.catalina.valves.JDBCAccessLogValve"
     driverName="your_jdbc_driver"
     connectionURL="your_jdbc_url"
     pattern="common" resolveHosts="false"
/>  

  同样的，需要在数据库创建一个访问表，官方给的例子如下（可以根据需要自己定制）：
  CREATE TABLE access (
     id INT UNSIGNED AUTO_INCREMENT NOT NULL,
     remoteHost CHAR(15) NOT NULL,
     userName CHAR(15),
     timestamp TIMESTAMP NOT NULL,
     virtualHost VARCHAR(64) NOT NULL,
     method VARCHAR(8) NOT NULL,
     query VARCHAR(255) NOT NULL,
     status SMALLINT UNSIGNED NOT NULL,
     bytes INT UNSIGNED NOT NULL,
     referer VARCHAR(128),
     userAgent VARCHAR(128),
     PRIMARY KEY (id),
     INDEX (timestamp),
     INDEX (remoteHost),
     INDEX (virtualHost),
     INDEX (query),
     INDEX (userAgent)
);  

  对于访问日志，因为数据量比较大，可以分表存放，对于信息统计，可是设置一个定时器，定时在某个时刻统计当日/当周的访问结果。得到数据里，下面就是网页呈现的问题，借助一下插件，如jfreechart或其他图表插件，下面是我搜出来的一个应用，大家可以大概感受一下效果，具体做法可以参
张贴一张其博客的图片：

附录：
pattern 模式详细的参数设置：
%a - 远端IP地址 %A - 本地IP地址 %b - 发送的字节数，不包括HTTP头，如果为0，使用"－" %B - 发送的字节数，不包括HTTP头 %h - 远端主机名(如果resolveHost=false，远端的IP地址） %H - 请求协议 %l - 从identd返回的远端逻辑用户名（总是返回 '-'） %m - 请求的方法（GET，POST，等） %p - 收到请求的本地端口号 %q - 查询字符串(如果存在，以 '?'开始) %r - 请求的第一行，包含了请求的方法和URI %s - 响应的状态码 %S - 用户的session ID %t - 日志和时间，使用通常的Log格式%u - 认证以后的远端用户（如果存在的话，否则为'-'） %U - 请求的URI路径 %v - 本地服务器的名称 %D - 处理请求的时间，以毫秒为单位 %T - 处理请求的时间，以秒为单位 %{xxx}i  获取header 的某个 attribute  
%{xxx}c  获取cookie 的某个 attribute  
%{xxx}o  获取response 的某个 attribute  
%{xxx}r  获取request 的某个 attribute  
%{xxx}s  获取session 的某个 attribute  
%{xxx}t  获取dateAndTime 的某个 attribute