grep、egrep、fgrep及正则表达式

were

  一、介绍         grep、egrep、fgrep命令是linux常用功能非常强大的文本搜索工具，使用正则表达式来搜索文本。
       grep: （global search regular expression(RE) and print out the line；全文搜索正则表达式并输出。gerp使用基本正则表达式搜索，grep在文件中查找字符串时以“整行”为单位进行数据筛选的。在没有参数的情况下, 只输出符合正则表达式字符串之句子.
grep的常见选项如下:

-v: 逆反模示, 只输出"不含" RE 字符串之句子.
-r: 递归模式, 可同时处理所有层级子目录里的文件.
-i: 忽略大小写.
-w: 整词比对, 类似 <word> .
-n: 同时输出行号.
-c: 只输出符合匹配条件的行数。
-l: 只输出符合比对的文件名称.
-E: 切换为 egrep .

-o: 仅显示被模式匹配到的字串，而非整行；

-A n  匹配的行和其后面的n行
-B n  匹配的行和其前面的n行
-C n   匹配的行和其上下的n行

* egrep等同于 grep -E，支持 扩展正则表达式 。
* fgrep等同于grep -F，不作 正则表达式RE处理, 表达式仅作一般字符串处理, 利用固定的字符串来对文本进行搜索，而不支持正则表达的引用，命令执行速度表快。（fgrep，我还没有彻底理解使用，这只是抄了网上的，貌似不经常使用）


格式：grep [options] 'PATTERN' file,...
--color=auto     可以彩色显示符合条件的字符串，这个我比较喜欢使用。
例如：
#grep Boot /etc/rc.d/rc.sysinit  
#grep --color=auto  Boot /etc/rc.d/rc.sysinit
下面的命令将从文件/etc/passwd中包含root的行找出来。
# grep root /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
# grep -n root /etc/passwd    显示行号
1:root:x:0:0:root:/root:/bin/bash
11:operator:x:11:0:operator:/root:/sbin/nologin
# grep -n -v root /etc/passwd    将不包含root的行显示出来并显示行号

二、正则表达式：
       结合正则表达式，可以更加灵活的使用grep命令查找内容。正则表达式是一类字符所书写出的模式(pattern) ；  可以说是一种由ASCII码和元字符组成的构建模式。

正则表达式主要格式：

关于位置锚定：
\： 忽略正则表达式中特殊字符的原有含义。转移字符
^：锚定行首。例如: ^String  文件中查找以字符串String开头的行，如，^root匹配以root开头的行。
$: 锚定行尾。例如: $String  文件中查找以字符串String结尾的行，root$以root结尾的行。
^$: 锚定空白行；例如：统计文件中的空白行,使用命令  #grep -c ^$ /etc/rc.d/rc.sysinit  或者使用#grep '^$' /etc/rc.d/rc.sysinit | wc -l   
\<：锚定词首；如，#grep \<root\> /etc/passwd 查找文件中包含单词root的行，
\>：锚定词尾；
例如： #grep bash$ /etc/passwd 匹配以bash结尾的行


匹配单个字符：
[ ]：匹配指定范围内的任意单个字符，如[A]即A符合要求 。

[0-9]或者 [[:digit:]] ：匹配数字
[a-z], [[:lower:]]：匹配小写字母
[A-Z], [[:upper:]] ：匹配大写字母
[[:alpha:]] ：匹配大小写字母
[[:alnum:]] ：匹配字母或者数字
[[:space:]] ：匹配空格
[[:punct:]]： 匹配标点符号
[^]：指定范围外的任意单个字符


例如：# grep --color=auto :[[:digit:]]: /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
例如：# grep te[sS]t /etc/passwd   在文件中查找包含teSt或者test字符串的行
#grep --color=auto  '[Re]..[Tt]' /etc/passwd
operator:x:11:0:operator:/root:/sbin/nologin
rtkit:x:499:497:RealtimeKit:/proc:/sbin/nologin
saslauth:x:498:76:"Saslauthd user":/var/empty/saslauth:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin


关于字符次数匹配：用来指定匹配其前面的字符的次数
* ：任意次字符，长度可以为0。
. : 任意单个字符
.* : 匹配任意长度的任意字符
例如：  #grep --color=auto  'B..t' /etc/rc.d/rc.sysinit 匹配包含B和t中间任意两个字符的字符串的行
比较一下下面两个命令的输出结果，便于理解。使用颜色参数更便于观察，你可以设置alias grep='grep --color=auto'，来避免每次敲--color=auto，或者直接修改环境变量，这样每次登录都不用再设置alias了。另外在下面的例子中会注意到正则表达式会尽可能的长的去匹配字符，这就是正则表达式的一个概念--- 贪婪。
# grep --color=auto  'b.*t' /etc/rc.d/rc.sysinit
# grep --color=auto  'b*t' /etc/rc.d/rc.sysinit

例子：x*y, 可以匹配 xxy, xy, y,
创建类似于如下的文件，以便字符匹配和次数匹配更好的理解
# cat /tmp/test  
sy
xxy
xxxxxxxxxxxxy
yxyxdjin
y
x
t
test
teast
sy
xy
xxy
xyxy
输入如下命令，分析结果。
#grep --color=auto x*y test
sy
xxy
xxxxxxxxxxxxy
yxyxdjin
y
sy
xy
xxy
xyxy
#grep --color=auto x.y test
xxy
xxxxxxxxxxxxy
xxy
\?:   表示匹配0次或1次，比如x\?y,可以匹配 xy, y, xxy   

\{m\}: 匹配m次
\{m,n\}: 匹配至少m次至多n次
\{m,\}: 至少m次;
\{0,n\}:至多n次;

# grep '[Re][[:alpha:]]\{1,\}[tT]' /etc/passwd
operator:x:11:0:operator:/root:/sbin/nologin
rtkit:x:499:497:RealtimeKit:/proc:/sbin/nologin
saslauth:x:498:76:"Saslauthd user":/var/empty/saslauth:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
#grep --color=auto -E x\?y test 或者   #grep --color=auto "x\?y" test，注意区分使用与不适用引号的区别。结果
sy
xxy
xxxxxxxxxxxxy
yxyxdjin
y
sy
xy
xxy
xyxy
# grep --color=auto "x\{1,\}y" test  或者 # grep -E --color=auto "x\{1,\}y" test
xxy
xxxxxxxxxxxxy
yxyxdjin
xy
xxy
xyxy






分组符号：  \(\)   例如： \(ab\)*xy  匹配ab任意次 ，可以匹配xy,abxy,ababxy,xxy等。
引用：
\1: 后向引用，引用一次前面的第一个左括号以及与之对应的右括号中的模式所匹配到的内容。
\n后向引用，引用n次前面的第一个左括号以及与之对应的右括号中的模式所匹配到的内容。
例如：
\(a.b\)xy\1 可以匹配 abxy，  a6bxya6b,   a6bxya7b
\(ab\)xy\1 可以匹配abxy, ababxyab等。
\(ab\)xy\1xy 可以匹配abxyxy, ababxyabxy等。


egrep: 使用扩展正则表达来构建模式，相当于grep -E ，这是就不用使用转义字符了。其他方面与前面提到grep基本类似的。比如

.   : 任意单个字符
[]  : 指定范围内的任意单个字符
[^]  : 指定范围外的任意单个字符
*：匹配其前面的字符任意次；
?: 匹配其前面的字符0或1次；
+: 匹配其前面的字符至少1次
{m}: 匹配其前面的字符m次；
{m,n}: 至少m次，至多n次
{m,}: 至少m次；
{0,n}：至多n次；
^: 行首
$: 行尾
\<, \b: 词首
\>, \b：词尾
(): 分组
|:   或者, ac|bc