varnish的日志和统计工具 Reporting and statistics

998yty

【关于日志的记录方式】
官网原文:
One of the really nice features in Varnish is the way logging works. Instead of logging to a normal log file Varnish logs to a shared memory segment, called the VSL - the Varnish Shared Log. When the end of the segment is reached we start over, overwriting old data

翻译:
varnish的一个很好的特性特点是varnish的记录日志的方式。varnish记录日志到一个共享内存空间取代记录到一个文件中的，叫做VSL(Varnish Shared Log)。当日志记录滚到了我们开始记录的那个点，就覆盖旧的数据日志。

【自带命令】
varnishlog
varnishnsca


【区别】
varnishlog 记录的是完成的varnish工作的日志过程。

varnishnsca 是以一个行模式记录有日志格式的方式记录如apache的日志格式。

【varnishlog用法】
直接运行varnishlog 记录的是正常request和respond的日志。(vxid格式)

varnishlog常用选项:
-g 日志输出格式

1	[-g ] Grouping mode (default: vxid)

arnishlog gives you the raw logs, everything that is written to the logs
应用: raw 可以查看所有的日志，包括健康检查

1	varnishlog -g raw

-I 过滤

1	[-I <[taglist:]regex>]    Include by regex    过滤之匹配的

应用:

1	varnishlog -I MISS

之匹配miss的字样 (-C  忽略大小写)


-C 忽略大小写

-X 排除输出

应用:

只看健康检查日志

1	varnishlog -I healthy -g raw

排除完全不记录健康检查日志 等于: varnishlog

1	varnishlog -g raw -X "healthy|ping|PONG"

【varnishnsca用法】
varnish日志工具
默认格式是:
"%h %l %u %t "%r" %s %b "%{Referer}i" "%{User-agent}i""
%h 远端主机
%l 远端登录名(由identd而来，如果支持的话)，除非IdentityCheck设为”On“，否则将得到一个”-”。
%u user 通常为 -
%t 时间
%r  请求的第一行  
%b 以CLF格式显示的除HTTP头以外传送的字节数，也就是当没有字节传送时显示’-‘而不是0。
%{Referer}i  
%{User-agent}i


我需要定制加入的几个:
%T 处理完请求所花时间，以秒为单位
%{Varnish:hitmiss}x   是否命中或者miss
{Varnish:handling}x    下一步的处理方式



[iyunv@dev-vhost011 ~]# varnishncsa
10.59.74.33 - - [29/Oct/2016:11:59:38 +0800] "HEAD  HTTP/1.1" 200 0 "-" "curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.47.1 OpenSSL/1.0.1e zlib/1.2.3 libidn/1.18 libssh2/1.4.2 nghttp2/1.6.0"


自定义日志格式: 这是一种不错的格式
[iyunv@dev-vhost011 ~]# varnishncsa   -F "%t %T %D %h %l %s %H %m %{Varnish:hitmiss}x %{Varnish:handling}x"
[29/Oct/2016:12:09:46 +0800] 0 170 10.59.74.33 - 200 HTTP/1.1 HEAD hit hit

[29/Oct/2016:12:09:52 +0800] 0 2120 10.59.74.33 - 405 HTTP/1.1 POST miss pass


生产格式

1	varnishncsa -F "%h %l %u %t %T "%r" %s %b \"%{Referer}i\" \"%{User-agent}i\" %{Varnish:hitmiss}x %{Varnish:handling}x"

如:
10.59.72.13 - - [30/Oct/2016:17:47:52 +0800] 0 GET  HTTP/1.1 200 7569 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36" hit hit