为了分析hadoop的日志,特地写了个一行的程序,来分析日志程序。Hadoop 是个分布式程序,程序分布在多个节点上,日志自然也是多份的,这里用一行脚本提取所有日志中的关键内容,进行重新排序,方便跟踪,主要是 sed 应用
grep "blk_" hadoop-testhdp-* | sed -ne ‘s/^hadoop-testhdp-\([a-z]\{8\}\)-[a-z]\+-\([0-9]\{1,2\}-[0-9]\{1,2\}\).local.log[^:]*:\(20[0-9]\{2\}-1\?[0-9]-[0-9]\{1,2\} [0-9:,]\{10,12\}\)\(.*\)\(blk_-\?[0-9]\{19\}_[0-9]\{4\}\)\(.*\)$/ \5 \3 [\1] c\2: \4 [The BLK] \6/p’| sort |while read blk remain;do [ "$blk" != "$last" ] && echo "—————-" ; last=$blk ; echo $blk $remain ;done > blocks_log_seg.txt
这个程序主要有两个部分,while之前的是将所有日志放在一起,并提取每行的关键信息,重新排列,然后排序,这样就按照我们关心的方式来排列了,后面一部分(while)是将首个字段发生变化的位置标记出来,以方便查看。sed里面有这么一些关键点:
指定某个表达式的长度:
\{8\} 8个长
\{10,12\} 10到12个长
\+ 至少一个长
\? 可能有一个
* 多少个都有可能,没有也有可能
\( \) 括起来的内容在后面依次可以用 \1, \2, \3…. 的方式来引用
使用 [ ] 来指定可能的字符,或用 [^] 来排除没有的,如 [^:] 就是不包含冒号的,上述[^:]* 如果替换成 .* 的话,可能在 log: 2008-11-28 13:05:33 中做最大匹配,一直到33前面,红色部分的匹配可能是无门不希望看到的。
后面的 while 实际上保存了上一行的 $blk,然后和当前行作比较,如果不同就加如一行减号,从而分隔开不同的行,如果没有需要的话可以去掉,这样会运行得更快些。
注意,该程序的 while 部分在 linux 中运行速度尚可,在 cygwin 中几乎无法接受,如果用 cygwin 的话,建议要么去掉这部分,要么做好等很长时间的准备。
运维网声明
1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网 享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com