Solr/Lucene日志分析-查询热点词-脚本工具
grep ‘webapp’ $1//接受参数在命令行下 执行./jiaobenName.sh
query.log
| awk ‘{print $9}’ // 提取patch
之后的内容
| awk -F “&”
‘{print $1}’ // 提取patch中查询串，去掉其他条件信息
| echo -e “$(sed ‘s/+/ /g;
s/%/\x/g’)”// decode log
| sed
‘s/[!-~a-zA-Z0-9=_:|-]/ /g’//英文部分用空格替换
| sed ‘s/ /n/g’ | grep -v
‘^$’//空格用n 替换，并去掉重复n
| awk ‘{count[$0]++} END
{for(k in count) print count,k}’
//统计单词词频
| sort -k1
-nr//按照词频降序
>
“/home/yingyuan.lyq/tw_$1″ //最终结果保存路径
页:
[1]