linux awk命令总结

南天一柱

linux awk命令总结

　　简介：
　　awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
1.命令行方式awk [-F  field-separator]  'commands'  input-file(s)
其中，commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。
在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。2.shell脚本方式
将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。
相当于shell脚本首行的：
#!/bin/sh可以换成：#!/bin/awk
3.将所有的awk命令插入一个单独文件，然后调用：awk -f awk-script-file input-file(s)
其中，-f选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。　　如果只是显示/etc/passwd的账户
#cat /etc/passwd |awk  -F ':'  '{print $1}'  
root
daemon
bin
sys　　
这种是awk+action的示例，每行都会执行action{print $1}。
-F指定域分隔符为':'。
　　如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割
　　

#cat /etc/passwd |awk  -F ':'  '{print $1"\t"$7}'
root    /bin/bash
daemon  /bin/shbin     
bin     /bin/sh
sys     /bin/sh　　如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"。
　　cat /etc/passwd |awk  -F ':'  'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}'
　　name,shell
　　root,/bin/bash
　　daemon,/bin/sh
　　bin,/bin/sh
　　sys,/bin/sh
　　....
　　blue,/bin/nosh
　　awk工作流程是这样的：先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。

　　搜索/etc/passwd有root关键字的所有行
　　

#awk -F: '/root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash　　搜索支持正则，例如找root开头的: awk -F: '/^root/' /etc/passwd

　　搜索/etc/passwd有root关键字的所有行，并显示对应的shell
　　

# awk -F: '/root/{print $7}' /etc/passwd            
/bin/bash　　
　　特殊要点:
　　$0               表示整个当前行
　　$1               每行第一个字段
　　$1-$n          当前记录的第N个字段
　　NF              字段数量变量
　　NR              每行的记录号，多文件记录递增
　　FNR            与NR类似，不过多文件记录不递增，每个文件都从1开始
　　\t                制表符
　　\n               换行符
　　FS              BEGIN时定义分隔符
　　RS               输入的记录分隔符， 默认为换行符(即文本是按一行一行输入)
　　~                匹配，与==相比不是精确比较
　　!~               不匹配，不精确比较
　　==             等于，必须全部相等，精确比较
　　!=               不等于，精确比较
　　&&　         逻辑与
　　||                 逻辑或
　　+                匹配时表示1个或1个以上
　　/[0-9][0-9]+/   两个或两个以上数字
　　/[0-9][0-9]*/    一个或一个以上数字
　　FILENAME 文件名
　　OFS      输出字段分隔符， 默认也是空格，可以改为制表符等
　　ORS        输出的记录分隔符，默认为换行符,即处理结果也是一行一行输出到屏幕
　　-F'[:#/]'   定义三个分隔符
　　-F指定分隔符
　　$1 指指定分隔符后，第一个字段，$3第三个字段， \t是制表符
　　一个或多个连续的空格或制表符看做一个定界符，即多个空格看做一个空格
　　awk -F":" '{print $1}'  /etc/passwd
　　awk -F":" '{print $1 $3}'  /etc/passwd                       //$1与$3相连输出，不分隔
　　awk -F":" '{print $1,$3}'  /etc/passwd                       //多了一个逗号，$1与$3使用空格分隔
　　awk -F":" '{print $1 " " $3}'  /etc/passwd                  //$1与$3之间手动添加空格分隔
　　awk -F":" '{print "Username:" $1 "\t\t Uid:" $3 }' /etc/passwd       //自定义输出
　　awk -F: '{print NF}' /etc/passwd                                //显示每行有多少字段
　　awk -F: '{print $NF}' /etc/passwd                              //将每行第NF个字段的值打印出来
　　awk -F: 'NF==4 {print }' /etc/passwd                       //显示只有4个字段的行
　　awk -F: 'NF>2{print $0}' /etc/passwd                       //显示每行字段数量大于2的行
　　awk '{print NR,$0}' /etc/passwd                                 //输出每行的行号
　　awk -F: '{print NR,NF,$NF,"\t",$0}' /etc/passwd      //依次打印行号，字段数，最后字段值，制表符，每行内容
　　awk -F: 'NR==5{print}'  /etc/passwd                         //显示第5行
　　awk -F: 'NR==5 || NR==6{print}'  /etc/passwd       //显示第5行和第6行
　　route -n|awk 'NR!=1{print}'                                       //不显示第一行
　　//匹配代码块
　　//纯字符匹配   !//纯字符不匹配   ~//字段值匹配    !~//字段值不匹配   ~/a1|a2/字段值匹配a1或a2
　　awk '/mysql/' /etc/passwd
　　awk '/mysql/{print }' /etc/passwd
　　awk '/mysql/{print $0}' /etc/passwd                   //三条指令结果一样
　　awk '!/mysql/{print $0}' /etc/passwd                  //输出不匹配mysql的行
　　awk '/mysql|mail/{print}' /etc/passwd
　　awk '!/mysql|mail/{print}' /etc/passwd
　　awk -F: '/mail/,/mysql/{print}' /etc/passwd         //区间匹配
　　awk '/[2][7][7]*/{print $0}' /etc/passwd               //匹配包含27为数字开头的行，如27，277，2777...
　　awk -F: '$1~/mail/{print $1}' /etc/passwd           //$1匹配指定内容才显示
　　awk -F: '{if($1~/mail/) print $1}' /etc/passwd     //与上面相同
　　awk -F: '$1!~/mail/{print $1}' /etc/passwd          //不匹配
　　awk -F: '$1!~/mail|mysql/{print $1}' /etc/passwd   
　　IF语句
　　必须用在{}中，且比较内容用()扩起来
　　awk -F: '{if($1~/mail/) print $1}' /etc/passwd                                       //简写
　　awk -F: '{if($1~/mail/) {print $1}}'  /etc/passwd                                   //全写
　　awk -F: '{if($1~/mail/) {print $1} else {print $2}}' /etc/passwd            //if...else...
　　逻辑运算符
　　&&　||
　　awk -F: '$1~/mail/ && $3>8 {print }' /etc/passwd         //逻辑与，$1匹配mail，并且$3>8
　　awk -F: '{if($1~/mail/ && $3>8) print }' /etc/passwd
　　awk -F: '$1~/mail/ || $3>1000 {print }' /etc/passwd       //逻辑或
　　awk -F: '{if($1~/mail/ || $3>1000) print }' /etc/passwd