在linux中使用shell来分析统计日志中的信息

q36988

　　在运维工作中，要经常分析后台系统的日志，通过抓取日志中的关键字信息，对抓取结果进行统计，从而为监控结果提供基础数据。
下面的shell演示了如何从大量的日志中取得想要的统计结果。其中展示了各种有趣的命令和shell的用法。
具体功能就是统计出某个关键字在不同时段的出现次数。结果格式为“HH 次数”





#!/bin/sh
# 取得YYYYMMDD格式的日期，以确定所要抓取的日志文件范围
current_date=`date "+%Y%m%d"`;
# 拼接组成需要抓取的日志文件名称
file_name=$current_date"*all*";
# 在一批日志文件中查找某个关键字，并将查找结果形成一个临时文件。
# 临时文件的结果格式为：文件名:日志内容
#./pmclog/20171020_all_000000.log:00:00:00.876652|D|38|0327|get|CAccumulate.cpp|delete main
grep 'delete main' ./pmclog/$file_name >> term_del.log;
# 从临时文件中取得时段信息，该信息是原始日志内容的前两个字符，并将结果保存到临时文件中
# 如果需要其他信息，那么就需要修改awk的命令参数了。
awk -F ':' '{print $2}' term_del.log >> term_del_hour.log;
rm term_del.log;
rm term_del_hour_times.log;
# 取得当前的时段
hour=`date "+%H"`;
# 使用循环，对今天的每个时段进行统计
for(( i=0; i<= $hour; i++))
do
# 作为数字的时候，变量i的前面是没有0的，这里要格式化出来一个0来，0点就是“00”，这样可以与临时文件中的信息相匹配
hour2=$(printf '%02d' $i);
# 使用 grep -o 和 wc -l的结合操作，就可以统计一个特定字符在文件中出现的次数。
# 在前面使用echo 可以标记出来每一个次数是哪个时段的数据
# 最终的term_del_hour_times.log就是最终的结果文件。
echo $hour2 `grep -o $hour2 term_del_hour.log | wc -l` >> term_del_hour_times.log;
done;
rm term_del_hour.log ;

　　------------------------------------------------
　　另外一种简洁的用法
　　通过一个关键字对日志进行分析统计

在所有的文件中找“send ok”
grep 'send ok' 20171022*all* | more
输出的结果为：
20171022_130.76.0.145.31151_all_000000.log:00:02:16.989944|D|GGSN7.ocs1;1508598098;38971070;09566300|15537090456|34|0525|Send|Session.cpp|send ok

通过对上面的查询结果进行分析，得到一些有意义的次数统计。
　　命令的意思就是，首先以“|”分割，取得查询结果中的第三列，然后，再以“.”分割，取得结果中的第一列，最后，通过排序，统计每个字符的次数。
grep 'send ok' 20171022*all*  | awk -F "|" '{print $3}' | awk -F '.'  '{print $1}' | sort | uniq -c | more

100 GGSN7
99 GGSN8