Solr/Lucene日志分析-查询热点词-脚本工具

不正狼

grep ‘webapp’ $1  //接受参数　　
在命令行下 执行  ./jiaobenName.sh
　　
query.log
　　
| awk ‘{print $9}’ // 提取patch
　　
之后的内容
　　
| awk -F “&”
　　
‘{print $1}’ // 提取patch中查询串，去掉其他条件信息
　　
| echo -e “$(sed ‘s/+/ /g;
　　
s/%/\x/g’)”  // decode log
　　
| sed
　　
‘s/[!-~a-zA-Z0-9=_:|-]/ /g’  //英文部分用空格替换
　　
| sed ‘s/ /n/g’ | grep -v
　　
‘^$’  //空格用n 替换，并去掉重复n
　　
| awk ‘{count[$0]++} END
　　
{for(k in count) print count[k],k}’
　　
//统计单词词频
　　
| sort -k1
　　
-nr  //按照词频降序
　　
>
　　
“/home/yingyuan.lyq/tw_$1″ //最终结果保存路径