nginx日志方面知识整理

fdfe

1.默认日志内容介绍
默认的示例：
log_format     main               '$remote_addr - $remote_user [$time_local] "$request" '
                                             '$status $body_bytes_s ent "$http_referer" '
                                             '"$http_user_agent" "$http_x_forwarded_for"'
注释：
$remote_addr   与$http_x_forwarded_for 用以记录客户端的ip地址；
$remote_user   ：用来记录客户端用户名称；
$time_local  ： 用来记录访问时间与时区；  
$request  ：  用来记录请求的url与http协议；
$status     ：  用来记录请求状态；成功是200，
$body_bytes_s ent  ：记录发送给客户端文件主体内容大小；
$http_referer  ：用来记录从那个页面链接访问过来的；
$http_user_agent  ：记录客户浏览器的相关信息；
通常web服务器放在反向代理的后面，这样就不能获取到客户的IP地址了，通过$remote_add拿到的IP地址是反向代理服务器的iP地址。
反向代理服务器在转发请求的http头信息中，可以增加x_forwarded_for信息，用以记录原有客户端的IP地址和原来客户端的请求的服务器地址；


2.日志常用参数；

2.1
access_log

语法：access_log path [format [buffer=size | off]]
默认值：access_log log/access.log combined
使用字段：http, server, location
参数为连接日志指定了路径，格式和缓冲区大小。使用“off”将在当前的字段中清除access_log的所有参数，如果没有指定日志格式，默认为“combined”。缓冲区大小不能超过写入磁盘文件的最小大小。
日志文件路径可以包含变量（0.7.4以上版本），但是有一些限制：
nginx指定的用户必须有创建日志文件的权限。
缓冲区不会工作
每个到来的连接，日志文件将被打开并且在记录日志后迅速关闭，然而，频繁使用的文件描述符将被保存到open_log_file_cache中，关于日志的轮询记录，必须记住随着时间的过去（使用open_log_file_cache的valid参数设置），日志仍然在旧的文件中记录。
nginx支持为每个location指定强大的日志记录。同样的连接可以在同一时间输出到不止一个的日志中，更多信息请查看Multiple access_log directives in different contexts

2.1
log_format

语法：log_format name format [format …]
默认值：log_format combined ”…”
使用字段：http server
描述记录日志的格式，格式中可以使用大多数变量，也包括一些在写入日志文件过程中定义的变量：
$body_bytes_sent，减去应答头后传送给客户端的字节数，这个变量兼容apache模块mod_log_config的%B参数（在0.3.10前这个变量为$apache_bytes_sent）。
$bytes_sent，传送给客户端的字节数。
$connection，连接数。
$msec，正在写入日志条目的当前时间（精确到百万分之一秒）
$pipe，如果请求为管道的。
$request_length，请求主体的长度。
$request_time，从一个请求发出到而使nginx工作的时间，单位为毫秒（0.5.19版本后可以使用秒为单位）。
$status，应答的状态（代码）。
$time_local，写入普通日志格式的当地时间（服务器时间）。
传送到客户端的头中的变量以”sent_http_”标记开头，如：$sent_http_content_range。
注意其他模块产生的变量同样可以写入日志，例如你可以记录前端负载均衡应答头使用“upstream_http_”开头的变量，具体请查看负载均衡模块。
nginx有一个预定的日志格式称为combined：
log_format combined '$remote_addr - $remote_user [$time_local]  '
                   '"$request" $status $body_bytes_sent '
                   '"$http_referer" "$http_user_agent"';
2.3
open_log_file_cache

语法：open_log_file_cache max=N [inactive=time] [min_uses=N] [valid=time] | off
默认值：open_log_file_cache off
使用字段：http server location
这个指令为频繁使用的日志文件描述符所在的路径变量设置缓存。
指令选项：
max - 缓存中存储的最大文件描述符数。
inactive - 设置缓存中在某个时间段内没有使用的文件描述符将被移除，默认为10秒。
min_uses - 在一定时间内（inactive指定），一个文件描述符最少使用多少次后被放入缓存，默认为1。
valid - 设置检查同名文件存在的时间，默认是60秒。
off - 关闭缓存。

3
nginx日志切割方式

方式一：
nginx cronolog日志分割配置文档，根据下面方法，每分钟分割一次NGINX访问日志。
1.nginx日志配置
access_log access_log /data/access_log_pipe main;

2.先创建一个命名管道
mkfifo /www/log/access_log_pipe
3.配置cronolog：
nohup cat /data/access_log_pipe | /usr/local/sbin/cronolog /data/log/domain.access_%Y%m%d%H%M.log &
4.启动Nginx
/usr/local/nginx/sbin/nginx

注意：
cronolog必须在nginx启动前启动
没有安装cronolog的话，需要先安装
wget http://cronolog.org/download/cronolog-1.6.2.tar.gz
tar zxvf cronolog-1.6.2.tar.gz
cd cronolog-1.6.2
./configure
make
make install

方式二：
定时任务中每小时添加定时任务，执行一下脚本，可以实现小时日志分割
log_dir="/var/log/nginx"
date_dir=`date +%Y/%m/%d/%H`
/bin/mkdir -p ${log_dir}/${date_dir} > /dev/null 2>&1
/bin/mv ${log_dir}/access.log   ${log_dir}/${date_dir}/access.log
kill -USR1 `cat /opt/nginx/logs/nginx.pid`

方式三：
使用logrotate做nginx日志轮询

logrotate看名字就知道是专门做日志轮询的，只把任务配置放在/etc/logrotate.d/下，任务就会自动完成，而且无需安装，系统自带，比较推荐使用.

vi /etc/logrotate.d/nginx  



/usr/local/nginx/logs/www.willko.cn.log /usr/local/nginx/logs/nginx_error.log {
notifempty
daily
sharedscripts
postrotate
/bin/kill -USR1 `/bin/cat /usr/local/nginx/nginx.pid`
endscript
}
多个日志以空格分开，
notifempty 如果日志为空则不做轮询
daily 每天执行一次
postrotate 日志轮询后执行的脚本
这样，每天都会自动轮询，生成nginx.log.1-n