使用正则表达式分隔Apache日志文件

fenghzy

通用日志格式的Apache日志文件示例：

127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326

组合日志格式的Apache日志文件示例：

127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 "http://www.example.com/start.html" "Mozilla/4.08 [en] (Win98; I ;Nav)"

组合格式的日志文件比通用格式的日志文件多了两条请求头中包含的信息，其他部分完全一样，以组合格式的日志文件为例，日志中的每项代表的含义如下(详细信息参见Apache文档)：

客户端的IP地址。
由客户端identd进程判断的RFC1413身份(identity),输出中的符号"-"表示此处的信息无效。
HTTP认证系统得到的访问该网页的客户标识(userid),如果网页没有设置密码保护，则此项将是"-"。
服务器完成请求处理时的时间。
客户的动作\请求的资源\使用的协议。
服务器返回给客户端的状态码。
返回给客户端的不包括响应头的字节数.如果没有信息返回，则此项应该是"-"。
"Referer"请求头。
"User-Agent"请求头。
用来提取信息的正则表达式组成：

^ :匹配每一行的开头。
([0-9.]+)\s :匹配IP地址。
([\w.-]+)\s :匹配identity，由数字字母下划线或点分隔符组成。
([\w.-]+)\s :匹配userid，由数字字母下划线或点分隔符组成。
(\[[^\[\]]+\])\s :匹配时间。
"((?:[^"]|\")+)"\s :匹配请求信息，双引号中可能出现转义的双引号\"。
(\d{3})\s :匹配状态码。
(\d+|-)\s :匹配响应字节数或-。
"((?:[^"]|\")+)"\s :匹配"Referer"请求头，双引号中可能出现转义的双引号\"。
"((?:[^"]|\")+)" :匹配"User-Agent"请求头，双引号中可能出现转义的双引号\"。
$ :匹配行尾。
最终的表达式如下：

^([0-9.]+)\s([\w.-]+)\s([\w.-]+)\s(\[[^\[\]]+\])\s"((?:[^"]|\")+)"\s(\d{3})\s(\d+|-)\s"((?:[^"]|\")+)"\s"((?:[^"]|\")+)"$