shell脚本工具之awk命令

nosilence

　　awk是一种优良的文本处理工具.可以对文件中的内容一行一行提取并处理,也可将文件分列的形式提取.
　　awk内置变量:
　　$0                --输出文件所有内容
　　$1-$n             --以分隔符输出每列的值
　　FILENAME          --输出文件名
　　FS                --输出字段的分隔符
　　NF                --当前记录的字段数目
　　NR                --当前记录的编号
　　OFS               --输出字段的分隔符
　　ORS               --输出记录分隔符
　　RS                --控制记录分隔符
　　文件内容:
　　[root@tong1 opt]# cat passwd
　　root:x:0:0:root:/root:/bin/bash
　　bin:x:1:1:bin:/bin:/sbin/nologin
　　daemon:x:2:2:daemon:/sbin:/sbin/nologin
　　adm:x:3:4:adm:/var/adm:/sbin/nologin
　　lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
　　sync:x:5:0:sync:/sbin:/bin/sync
　　shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
　　halt:x:7:0:halt:/sbin:/sbin/halt
　　mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
　　uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
　　operator:x:11:0:operator:/root:/sbin/nologin
　　games:x:12:100:games:/usr/games:/sbin/nologin
　　gopher:x:13:30:gopher:/var/gopher:/sbin/nologin
　　ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
　　[root@tong1 opt]#
　　1.awk命令格式
　　awk '{pattern + action}' {filenames}
　　2.内置变量实例
　　[root@tong1 opt]# awk -F: '{print "第一列值:"$1,"文件名:"FILENAME,"每列共多少字段:"NF,"输出每行编号:",NR,"输出字段分隔符:"OFS}' passwd
　　第一列值:root 文件名:passwd 每列共多少字段:7 输出每行编号: 1 输出字段分隔符:
　　第一列值:bin 文件名:passwd 每列共多少字段:7 输出每行编号: 2 输出字段分隔符:
　　第一列值:daemon 文件名:passwd 每列共多少字段:7 输出每行编号: 3 输出字段分隔符:
　　第一列值:adm 文件名:passwd 每列共多少字段:7 输出每行编号: 4 输出字段分隔符:
　　第一列值:lp 文件名:passwd 每列共多少字段:7 输出每行编号: 5 输出字段分隔符:
　　第一列值:sync 文件名:passwd 每列共多少字段:7 输出每行编号: 6 输出字段分隔符:
　　第一列值:shutdown 文件名:passwd 每列共多少字段:7 输出每行编号: 7 输出字段分隔符:
　　第一列值:halt 文件名:passwd 每列共多少字段:7 输出每行编号: 8 输出字段分隔符:
　　第一列值:mail 文件名:passwd 每列共多少字段:7 输出每行编号: 9 输出字段分隔符:
　　第一列值:uucp 文件名:passwd 每列共多少字段:7 输出每行编号: 10 输出字段分隔符:
　　第一列值:operator 文件名:passwd 每列共多少字段:7 输出每行编号: 11 输出字段分隔符:
　　第一列值:games 文件名:passwd 每列共多少字段:7 输出每行编号: 12 输出字段分隔符:
　　第一列值:gopher 文件名:passwd 每列共多少字段:7 输出每行编号: 13 输出字段分隔符:
　　第一列值:ftp 文件名:passwd 每列共多少字段:7 输出每行编号: 14 输出字段分隔符:
　　[root@tong1 opt]#
　　3.用printf输出格式
　　[root@tong1 opt]# awk -F: '{printf ("第一列值:%-10s,文件名:%-10s,每列共多少字段:%-3s,输出每行编号:%-3s,输出字段分隔符:%10s\n",$1,FILENAME,NF,NR,OFS)}' passwd
　　第一列值:root      ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:1  ,输出字段分隔符:
　　第一列值:bin       ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:2  ,输出字段分隔符:
　　第一列值:daemon    ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:3  ,输出字段分隔符:
　　第一列值:adm       ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:4  ,输出字段分隔符:
　　第一列值:lp        ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:5  ,输出字段分隔符:
　　第一列值:sync      ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:6  ,输出字段分隔符:
　　第一列值:shutdown  ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:7  ,输出字段分隔符:
　　第一列值:halt      ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:8  ,输出字段分隔符:
　　第一列值:mail      ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:9  ,输出字段分隔符:
　　第一列值:uucp      ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:10 ,输出字段分隔符:
　　第一列值:operator  ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:11 ,输出字段分隔符:
　　第一列值:games     ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:12 ,输出字段分隔符:
　　第一列值:gopher    ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:13 ,输出字段分隔符:
　　第一列值:ftp       ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:14 ,输出字段分隔符:
　　[root@tong1 opt]#
　　4.打印特殊字符
　　[root@tong1 opt]# awk 'BEGIN {print "dsvjs"}'
　　dsvjs
　　[root@tong1 opt]# awk 'BEGIN {print "\"dsvjs\""}'     --打印"号
　　"dsvjs"
　　[root@tong1 opt]#
　　5.动态读入内容
　　[root@tong1 opt]# awk '{print}'
　　qw er haogv 3
　　qw er haogv 3
　　3 677
　　3 677
　　^C
　　[root@tong1 opt]#
　　6.查找文件内容并输出
　　[root@tong1 opt]# awk '/mail/ {print $0}' passwd
　　mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
　　[root@tong1 opt]# awk '/root/ {print $0};/ftp/ {print $0}' passwd
　　root:x:0:0:root:/root:/bin/bash
　　operator:x:11:0:operator:/root:/sbin/nologin
　　ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
　　[root@tong1 opt]#
　　7.在文件中查找第三列的值大于10输出
　　[root@tong1 opt]# awk -F":" '{ if ($3 > 10) print $1}' passwd
　　operator
　　games
　　gopher
　　ftp
　　[root@tong1 opt]#
　　8.输出文件第10行以后的数据
　　[root@tong1 opt]# awk 'NR>10' passwd
　　operator:x:11:0:operator:/root:/sbin/nologin
　　games:x:12:100:games:/usr/games:/sbin/nologin
　　gopher:x:13:30:gopher:/var/gopher:/sbin/nologin
　　ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
　　[root@tong1 opt]#
　　正则表达式
　　^         --以某字符开头
　　~         --等于某字符
　　\         --转义特殊字符
　　$         --以某字符结尾
　　.         --任意一个字符
　　[...]     --匹配方括号任意字符
　　[^..]     --不匹配方括号任意字符
　　|         --或
　　*         --所有字符
　　+         --连续字符
　　?         --单个字符
　　{n}       --字符出现n次
　　{n,}      --字符出现n次以上
　　{n,m}     --字符出现n到m次之间
　　9.使用正则表达式
　　[root@tong1 opt]# awk '$1 ~ /root/ {print}' passwd
　　root:x:0:0:root:/root:/bin/bash
　　operator:x:11:0:operator:/root:/sbin/nologin
　　[root@tong1 opt]#
　　10.以r开头,中断只有两个字符的内容
　　[root@tong1 opt]# awk '$1 ~ /^r..t/ {print}' passwd
　　root:x:0:0:root:/root:/bin/bash
　　[root@tong1 opt]#
　　11.计算$3的值,符合条件输出(OFS  指定输出格式)
　　[root@tong1 opt]# awk -F: 'BEGIN {OFS=":"};{$3=$3-5;if($3>3) print $1,NR}' passwd
　　uucp:10
　　operator:11
　　games:12
　　gopher:13
　　ftp:14
　　[root@tong1 opt]#
　　12.统计文件中的内容
　　[root@tong1 opt]# cat 4.sh
　　$1 ~ /^root/
　　BEGIN {
　　FS=":";OFS=""
　　}
　　{
　　for (i=0;i