正则表达式、sed、awk相关资料笔记资料整合

32e2

正则表达式元字符：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45

^   #锚定行的开始。如：/^sed/ 匹配所有以sed开头的行。 $   #锚定行的结束。如：/sed$/ 匹配所有以sed结尾的行。 .   #匹配一个非换行字符。 如：/s..d/ 匹配s后接任意两个个字符，最后是d。 *   #匹配零个或多个字符。 如：/*sed/ 匹配所有模板是一个或多个空格后紧跟sed的行。 []   #匹配一个指定范围内的字符。 如/[Ss]ed/ 匹配Sed和sed。 [x-y]   #匹配指定范围内的一个字符。 如 /[a-z]ed/ 匹配一个a-z之间任意字符后跟ed的行。 [^]   #匹配一个不在指定范围内的字符，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头，紧跟ed的行。 \   #用来转义字符。 如： /sed\./匹配包含sed后面跟一个句点. （未经转义的句点通常匹配单个字符） \<   #词首定位符。 如:/\<love/匹配包含以love开头的单词的行。 \>   #词尾定位符。 如/love\>/匹配包含以love结尾的单词的行。 \(..\)   #匹配稍后将要使用的字符的标签。 如s/\(love\)able/\1rs，loveable被替换成lovers。   #最多可以使用9个标签，模式中最左边的标签是第1个。用\1表示。 x\{m\}   #重复字符x，m次，如：/0\{5\}/匹配包含5个o的行。 x\{m,\}   #重复字符x,至少m次，如：/o\{5,\}/匹配至少有5个o的行。 x\{m,n\}   #重复字符x，至少m次，不多于n次，如：/o\{5,10\}/匹配5--10个o的行。 &   #保存搜索字符用来替换其他字符，如s/love/**&**/，love这成**love**。

Postfix方括号字符集：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

[:alnum:]  #数字字符         [:lower:]  #小写字母字符 [:alpha:]  #字母字符         [:print:]  #可显示的字符 [:blank:]  #空格(space)与定位符(tab)字符         [:punct:]  #标点符号字符 [:cntrl:]  #控制字符       [:space:]  #空白(whitespace)字符 [:digit:]  #数字字符       [:upper:]  #大写字母字符 [:graph:]  #非空格字符      [:xdigit]  #十六进制数字

Sed学习：

1.sed选项：

1 2 3 4 5 6 7 8 9

-e command, --expression=command  #允许多项编辑。 -f, --filer=script-file  #指定sed脚本文件名。 -n, --quiet, --silent  #取消默认的输出。 -V, --version #打印版本和版权信息。 -h --help   #打印帮助。

2.sed命令：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29

a\  #在当前行后添加一行或多行 c\  #用新文本修改（替换）当前行中的文本 d   #删除行 i\  #在当前行之前插入文本 h   #把模式空间里面的内容复制到暂缓冲区 H   #把模式空间里面的内容追加到暂缓冲区 g   #取出暂存缓冲区的内容，将其复制到模式空间，覆盖该处原有内容。 G   #取出暂存缓冲区的内容，将其复制到模式空间，追加在原有内容后面。 l   #列出非打印字符。 p   #打印行。 n   #读入下一输入行，并从下一条命令而不是第一条命令开始对其的处理。 q   #结束或退出sed。 r   #从文件中读取输入行。 !   #对所选行以外的所有行应用命令。 s   #用一个字符串替换另一个。

3.sed替换标志：

1 2 3 4 5 6 7 8 9

g   #在行内进行全局替换。 p   #打印行。 w   #将行写入文件。 x   #交换暂存缓冲区与模式空间的内容。 y   #将字符转换为另一字符（不能对正则表达式使用y命令）

sed示例：

1 2 3 4 5 6 7

[iyunv@localhost mnt]# cat example.txt one line text two line text three line text four line text five line text end line !!!

删除：d命令：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28

1.#删除文件中的第二行 [iyunv@localhost mnt]# sed '2d' example.txt one line text three line text four line text five line text end line !!! 2.#删除文件中的最后一行 [iyunv@localhost mnt]# sed '$d' example.txt one line text two line text three line text four line text five line text 3.#删除第三行到末尾所有行 [iyunv@localhost mnt]# sed '3,$d' example.txt one line text two line text 4.#删除文件中包含text的行 [iyunv@localhost mnt]# sed '/text/'d example.txt end line !!!

替换：s命令：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29

1.#在整行范围内把e替换为E。如果没有g标记，则每行只匹配第一个e。 [iyunv@localhost mnt]# sed 's/e/E/g' example.txt onE linE tExt two linE tExt thrEE linE tExt four linE tExt fivE linE tExt End linE !!! 2.#(-n)选项和p标志一起使用表示只打印那些发生替换的行。 [iyunv@localhost mnt]# sed -n 's/d/D/p' example.txt enD line !!! 3.#&符号表示替换换字符串中被找到的部份。 [iyunv@localhost mnt]# sed -n 's/^end/&for/p' example.txt endfor line !!!   #这里&替换成为end 4.#on标记为1，所有的one都会被替换为oncoming！ [iyunv@localhost mnt]# sed -n 's/\(on\)e/\1coming/p' example.txt oncoming line text 5.#不论什么字符，紧跟着s命令的都被认为是新的分隔符，所以这里的#是分隔符； [iyunv@localhost mnt]# sed -n 's#one#Haha#p' example.txt Haha line text

选定行的范围：逗号

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

1.#所有在模板th和f所确定的范围内的行都被打印。 [iyunv@localhost mnt]# sed -n '/th/,/f/p' example.txt three line text four line text 2.#打印从第二行到第一个包含以four开始的行之间的所有行。 [iyunv@localhost mnt]# sed -n '2,/^four/p' example.txt two line text three line text four line text 3.#对于模板one和three之间的行，每行的行首添加字符串Ceshi。 [iyunv@localhost mnt]# sed '/one/,/three/s/^/Ceshi/' example.txt Ceshione line text Ceshitwo line text Ceshithree line text four line text five line text end line !!!

多点编辑：e命令

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

1.#(e)选项允许在同一行里执行多条命令。 [iyunv@localhost mnt]# sed -e '1,3d' -e 's/five/FFFF/' example.txt four line text FFFF line text end line !!! 2.#一个比-e更好的命令是--expression。它能给sed表达式赋值。 [iyunv@localhost mnt]# sed --expression='s/one/ONE/' --expression='/h/d' example.txt ONE line text two line text four line text five line text end line !!!

从文件读入：r命令

1 2 3 4 5 6 7 8 9 10 11 12

1.#hosts文件内容被读进来，显示在与one匹配的行后面。 #如果匹配了多行，那么hosts内容将显示在所有的匹配行下面。 [iyunv@localhost mnt]# sed '/one/r /etc/hosts' example.txt one line text 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6 two line text three line text four line text five line text end line !!!

写入文件：w命令

1 2 3 4 5 6

1.#example中所有包含f的行都被写入到write.txt中。 [iyunv@localhost mnt]# sed -n '/f/w write.txt' example.txt [iyunv@localhost mnt]# cat write.txt four line text five line text

追加命令：a命令

1 2 3 4 5 6 7 8 9 10

1.#“----->this is a test”被追加到匹配three的行后面，sed要求命令a后面有一个反斜杠。 [iyunv@localhost mnt]# sed '/three/a\----->this is a test' example.txt one line text two line text three line text ----->this is a test four line text five line text end line !!!

插入：i命令

1 2 3 4 5 6 7 8 9 10

1.#“----->this is a new line”被插入到匹配three的行前面，sed要求命令i后面有一个反斜杠。 [iyunv@localhost mnt]# sed '/three/i\----->this is a new line' example.txt one line text two line text ----->this is a new line three line text four line text five line text end line !!!

下一个：n命令

1 2 3 4 5 6 7 8 9

1.#如果three被匹配，则移动到匹配行的下一行，替换这一行的line为LINE，并打印且继续。 [iyunv@localhost mnt]# sed '/three/{n; s/line/LINE/; }' example.txt one line text two line text three line text four LINE text five line text end line !!!

变形：y命令

1 2 3 4 5 6 7 8 9

1.#把1-3行内所有匹配line任意字母的字符转变为大写。注意：正则表达式元字符不能使用这个命令。 [iyunv@localhost mnt]# sed '1,3y/line/LINE/' example.txt oNE LINE tExt two LINE tExt thrEE LINE tExt four line text five line text end line !!!

退出：q命令

1 2 3 4 5 6

1.#打印第三行后退出sed。 [iyunv@localhost mnt]# sed '3q' example.txt one line text two line text three line text

保持和获取：h命令和G命令

1 2 3 4 5 6 7 8 9 10 11 12 13 14

1.#在sed处理文件的时候，每一行都被保存在一个叫模式空间的临时缓冲区中， #除非行被删除或者输出被取消，否则所有被处理的行都将打印在屏幕上。 #接着模式空间被清空，并存入新的一行等待处理。 #这里，匹配two的行存入模式空间，h命令将其复制并存入一个称为保持缓存区的特殊缓冲区内。 #第二条语句是当达到最后一行后，G命令取出保持缓冲区的行。 [iyunv@localhost mnt]# sed -e '/two/h' -e '$G' example.txt one line text two line text three line text four line text five line text end line !!! two line text

保持和互换：h命令和x命令

1 2 3 4 5 6 7 8 9

1.#互换模式空间和保持缓冲区的内容。由结果可以得出匹配three的行将被two替换。 [iyunv@localhost mnt]# sed -e '/two/h' -e '/three/x' example.txt one line text two line text two line text four line text five line text end line !!!

AWK学习：

使用方法：

1	awk '{pattern + action}' {filenames}

AWK内置变量：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

ARGC       #命令行参数个数 ARGV       #命令行参数排列 ENVIRON    #支持队列中系统环境变量的使用 FILENAME   #awk浏览的文件名 FNR        #浏览文件的记录数 FS         #设置输入域分隔符，等价于命令行 -F选项 NF         #浏览记录的域的个数 NR         #已经读出的记录数，就是行号，从1开始，如果有多个文件话，这个值也是不断累加中。 OFS        #输出字段分隔符， 默认也是空格 ORS        #输出的记录分隔符，默认为换行符 RS         #输入的记录分隔符， 默认为换行符 此外,$0变量是指整条记录。$1表示当前行的第一个域,$2表示当前行的第二个域,......以此类推

AWK入门指南：http://awk.readthedocs.org/en/latest/chapter-one.html