awk及perl学习笔记

caodd1215

　　注：AWK的正则表达式竟然不支持零宽断言！perl是支持零宽断言的，但是perl中的程序要达到awk的效率需要考虑的问题太多。于是笔者用两次匹配（第一次匹配后再过滤一次）的方法代替零宽断言：
　　awk /$key/'{if($0~/\/\/.*$key|\/\*.*$key|$key.*\*\//) ; else printf("%s:%d: %s\n",FILENAME, FNR, $0)}' `find -type f -name "$fname"` | tee log_findinfiles
但是上句并不能奏效，因为awk语句内部是不能识别shell中定义的变量的，所以{}内不能出现$val这样引用变量的方法，而只能是val这样引用。但是用awk -v xxx=$val是可以把shell的变量引入awk的。我最终是在awk -v 处定义正则表达式的，并在正则表达式中引用shell里的变量$key。注意，在这里，正则表达式中每使用一个右斜杆，需要在此右斜杆前再加2个右斜杆以供解释器转义！
　　最后可以运行的语句
　　awk -v reg="\\\/\\\/.*$key|\\\/\\\*.*$key|$key.*\\\*\\\/" /$key/'{if($0 ~ reg ) ; else printf("%s:%d: %s\n",FILENAME, FNR, $0)}' `find -type f -name "$fname"` | tee log_findinfiles
这个语句我用了几天后发现还有一个小小的问题：它总是先执行``中的find命令，find完全结束后在执行AWK。这带来一个buffer的毛病，在文件量很大、层数很多的工程中，搜索时不能即时看到结果。而find和awk都是无buffer的，这种通过``组合起来的命令却造成了buffer。我尝试用|管道来写这个语句，但是当把find的输出输入awk时，awk并不能把它们解析成一个个的文件名，而是把find的每一行输出认为是一行待处理的文本来处理。
经过半个上午+一个下午的努力，我用perl解决了这个问题，第一次接触perl语言，遇到了一些障碍，所幸在一天内攻克了，下面这个脚本在查找效率和输入便捷上都很可观：
　　findme.pl源文件
　　
　　#!/usr/bin/env perl
# program: find specific text in files with specific names
# Made by:  Daiyyr
# date:  2013/03/14
use 5.10.1;
use strict;
use warnings;
use POSIX qw(strftime);

my $key;
my $fname;
sub find{
    my @dirs = <$_[0]/*>;
    my $count = @dirs;
    my $len = length($_[0]);
    if($count == 0){
        return 1;
    }
    my $i=0;
    while($i<$count){
        if(-d $dirs[$i]){
                &find("$dirs[$i]", $_[1]);
            }
            else{
                if(substr($dirs[$i],$len+1) =~ m/$_[1]/){
                    if( substr($dirs[$i],$len+1) eq "log_finding_${key}_in_${fname}"){
                    $i++;
                        next;
                    }
                open(FILE, $dirs[$i]) || die("open file failed: $dirs[$i]\n");
                while(my $line=<FILE>){
                    if($line =~ m/$key/ && $line !~ m/\/\/.*$key|\/\*.*$key|$key.*\*\//){
                        print("$dirs[$i] : $. : $line");
                        print LOG ("$dirs[$i] : $. : $line");
                    }
                }
                close(FILE) || die("close file failed: $dirs[$i]\n");#猜测若不显式地关闭，一样要自动地隐式关闭，并不能节省时间
            }
            }
            $i++;
    }#end of while
}
print "input your files' name(could be regex):\n";
$fname = <STDIN>;
chomp($fname);
print "input your key word(could be regex):\n";
$key = <STDIN>;
chomp($key);
open(LOG, ">log_finding_${key}_in_${fname}") || die("open file failed: log_finding_${key}_in_${fname}\n");
print LOG ("search time: ".strftime("%Y-%m-%d %H:%M:%S\n", localtime(time))."key words:${key},  file name:${fname},  path:$ENV{'PWD'}\n\n");
&find(".", $fname);
close(LOG) || die("close file failed: log_finding_${key}_in_${fname}\n");


　　
　　
　　
　　壹、参考：
　　维基百科AWK条目：http://zh.wikipedia.org/zh-cn/AWK
　　某人AWK学习笔记：http://man.lupaworld.com/content/manage/ringkee/awk.htm#id2808925
　　
　　贰、总结
　　
　　0.   ``这个符号用于标记命令语句。比如需要在shell执行一个语句，而输出结果并不显示在屏幕，而是把输出结果传送到某个地方，作为另一个命令或表达式地一部分， 此时用``将这个命令语句标记起来，例子：
　　awk /$key/'{printf("%s:%d: %s\n",FILENAME, FNR, $0)}' `find -type f -name "$fname"` | tee log_findinfiles
　　
　　0.5   tee，在保留原先保准输出的途径的情况下，再将标准输出导入到其它地方。
　　
　　1。若不使用文件定义script的话，单引号是必须的，标记模式和操作。若把模式和操作放在一个单引号内，模式如果是正则表达式且表达式中含变量的话，这个正则表达式可能失效；如果只把操作放在单引号内，则模式必须紧挨着单引号，几乎只有此方法是正确的；不能用2个单引号分别标记模式和操作。举例如下：
　　awk '/f/ {print "good job"}' a 此时正则表达式中没变量，正确；但是：
　　awk '/$key/ {printf("%s:%d: %s\n",FILENAME, FNR, $0)}' `find -type f -name "$fname"` 错误！正则表达式失效
　　awk /f/'{print "good job"}' a 正确，都使用这种方法就好了。
　　awk /f/ '{print "aa"}' a 错误
　　awk '/f/' '{print "aa"}' a 错误
　　
　　2.   ORS（输出记录分隔符）只改变print的行为。而printf相当于外部函数，它的行为不受AWK变量限制，所以：
　　awk -v ORS="\n\n" /f/'{printf("%d\n", NR)}' a  输出依然是一个换行符间隔
　　awk -v ORS="\n\n" /f/'{print NR}' a  输出是两个换行符间隔
　　awk  /f/'{ORS="\n\n"; print NR}' a  这条命令与上条作用完全相同
　　
　　3.   据上面最后一行提示，可知，变量的定义可以在script部分，也可以在选项部分
　　
　　4.    AWK允许运算符~，用来测试正则表达式是否可以与一字符串匹配，用法举例：  $0 ~ /regexp/

　　
　　叁、部分我使用过的命令：
　　
　　多文件搜索：
　　awk /$key/'{printf("%s:%d: %s\n",FILENAME, FNR, $0)}' `find -type f -name "$fname"` | tee log_findinfiles

　　BEGIN用法：
　　awk 'BEGIN { print "Hello, world!" }' a
　　
　　文件内部排序：
　　grep -oP 'http:.*\.jpg' >　ａ
　　awk -vFS="/" '{printf("mv %s %d.jpg\n", $NF, NR);}' a|sh
　　上面2条命令实际用法详见http://blog.iyunv.com/uid-24245847-id-3192460.html
　　
　　把以\结尾的行与下一行作为一条记录。尝试没有成功。在网页测试中，[^(\\)]\n 这个是可以排除以右斜杠结尾的行的，但在AKW中无法排除
　　awk '{RS="[^(\\)]\n"; ORS="END\n"; print $0}' a