文本文件查找，正则 sed awk

t4r23

二.  sed
格式 :   sed '内容'p -n 文件   打印某行  内容为英文用 / /括起来
          sed '内容'd  文件   打印除内容以外其他行
sed    不加-i 进行查看    加上-i  对源文件进行操作
             -r 不需要脱义  ? + ( ) | 需要脱义
         
打印指定行 sed '10'p -n 1.txt;
        不加-n 会每行出现2次,打印第10行
            sed '1,4'p -n 1.txt;
                  1到4行
            sed '5,$'p -n 1.txt
               5到末行

p为打印，d为删除
-n 静默模式，和p一起用。(只打印符合条件的行)
     sed -n '/^\//p' /etc/fstab
a \字符串:在指定行后面追加新行
     \n 可以换行
i \字符串：在指定行前面加新行


r 路径  指定的文件添加到查找到的行出
     sed '1,3r /etc/passwd' /etc/fstab
用于文件合并


w 路径 将查找内容写入指定文件路径下
sed '1,5w /etc/123.txt' /etc/fstab


s/被查找内容/替换内容/  默认替换是每行第一个
     [url=]g:全局替换[/url]
     [url=]i:忽略大小写[/url]
s/// s### s@@@


改
live-->liver
love-->lover
s/l..e/&r/g     被查找内容支持正则，但是替换内容不支持，只能用 & 代替前面查找的内容，后面加个r


s#\(l..e\)#\1r#g   后项引用


live-->Live
love-->Love
s#l\(..e\)#L\1#g   只能使用后项引用


sed -f /xssh/1.sh  /etc/fstab
使用 shell文件 执行文件

sed -r
使用扩展正则

history |sed 's#^[[:space:]]##g' | cut -d '  ' -f1
将行首空白砍掉

/内部如果有字符与格式脱意冲突 需要 "\"/
打印包含某个字符串的行 sed -n '/root/'p 1.txt
                        包含root的行

可以使用 ^ . * $等特殊符号-e 可以实现同时进行多个任务
   sed -e '/root/p' -e '/body/p' -n 1.txt 也可以用;实现

sed  '/root/p; /body/p' -n 1.txt

删除行 sed '/root/d' 1.txt;
           删除带有root的行 ，不需要带 -n
        sed '1d' 1.txt;
        删第一行
       sed '1,10d' 1.txt
         删1到10行

替换 sed '1,2s/ot/to/g' 1.txt,
         1、2行 ot 改为 to
其中s就是替换的意思，g为全局替换，否则只替换第一次的，
/也可以为 #, @ 等
         sed 's/BASH/123/gi' 1.log            
替换时候 加i  不区分大小写
  
删除所有数字 sed 's/[0-9]//g' 1.txt
删除所有非数字  sed 's/[^0-9]//g' 1.txt

head -n2 1.txt |sed 's/\(root\)\(.*\)\(bash\)/\3\2\1/'
调换两个字符串位置
                sed -r 's/(^.*)(:.*:)(\/.*$)/\3\2\1/g'
                sed -r 's#(^.#)(:.*:)(/.*$)#\3\2\1#'

直接修改文件内容 sed -i 's/ot/to/g' 1.txt



sed练习题：
把/etc/passwd 复制到/root/test.txt，用sed打印所有行
sed -n '1,$p' test.txt
打印test.txt的3到10行
sed -n '3,10p' test.txt
打印test.txt 中包含 'root' 的行
sed '/root/p'  -n test.txt
删除test.txt 的15行以及以后所有行
sed '15,$d' test.txt
删除test.txt中包含 'bash' 的行
sed '/bash/d' test.txt
替换test.txt 中 'root' 为 'toor'
sed 's#root#toor#g'  test.txt
替换test.txt中 '/sbin/nologin' 为 '/bin/login'
sed 's#/sbin/nologin#/bin/login#g'  test.txt
删除test.txt中5到10行中所有的数字
sed '5,10s#[0-9]##g' test.txt
删除test.txt 中所有特殊字符（除了数字以及大小写字母）
sed 's#[^0-9a-z]##g' 123
把test.txt中第一个单词和最后一个单词调换位置
sed -r 's#(^.*)(:.*:.*:.*:.*:.*:.*/.*/)(.*$)#\3\2\1#g' test.txt

               bash:x:0:0:root:/root:/bin/root  (最后一个单词与第一个调换）
sed -r 's#(^.*)(:.*:.*:.*:.*:.*:.*)(/.*/.*$)#\3\2\1#g' test.txt

               /bin/bash:x:0:0:root:/root:root  (最后的shell 与第一个单词调换)
sed 's#\(^.*\)\(:x:.*\)\(/.*$\)#\3\2\1#g' test.txt   (使用脱意)     -r 可以 省去脱意字符


把test.txt中出现的第一个数字和最后一个单词替换位置
sed -r 's#(^.*)([0-9])(.*/.*/.*/)(.*$)#\1\4\3\2#g' test.txt

sed -r 's#(^.*)([0-9])(.*/.*/.*/)(.*$)#\1\4\3\2#g' test.txt

把test.txt 中第一个数字移动到行末尾
sed -r 's#(^.*:)([0-9])(.*$)()#\1\4\3\2#g' 123
在test.txt 20行到末行最前面加 'aaa:'
sed '20s/$/aaa/g'  123



AWK


截取文档中的某段 awk -F ':' '{print $1}' 1.txt
也可以使用自定义字符连接每个段 awk -F':' '{print $1"#"$2"#"$3"#"$4}' 1.txt
匹配字符或字符串 awk '/oo/' 1.txt
针对某个段匹配 awk -F ':' '$1 ~/oo/' 1.txt
多次匹配 awk -F ':' '/root/ {print $1,$3}; $1 ~/test/; $3 ~/20/' 1.txt
条件操作符==, >,<,!=,>=;<=
awk -F ':' '$3=="0"'  1.txt;
awk -F ':' '$3>="500"' 1.txt;
awk -F ':' '$7!="/sbin/nologin"'  1.txt;
awk -F ':' '$3<$4' 1.txt ;
awk -F ':' '$3>"5" && $3<"7"' 1.txt
awk -F ':' '$3>"5" || $7=="/bin/bash"' 1.txt
awk内置变量 NF(段数)  NR(行数)
head -n3 1.txt | awk -F ':' '{print NF}'
head -n3 1.txt | awk -F ':' '{print $NF}'
head -n3 1.txt | awk -F ':' '{print NR}'
打印20行以后的行awk 'NR>20' 1.txt
awk -F ':' 'NR>20 && $1 ~ /ssh/'  1.txt
更改某个段的值awk -F ':' '$1="root"' 1.txt
数学计算, 把第三段和第四段值相加，并赋予第七段 awk -F ':' '{$7=$3+$4; print $0}' 1.txt
计算第三段的总和 awk -F ':' '{(tot=tot+$3)}; END {print tot}' 1.txt
awk中也可以使用if关键词 awk -F ':' '{if ($1=="root") print $0}' 1.txt



awk -F ‘:’ '{print $1}' 1.log
按 : 分割  显示 第一列
              print $0
   显示所有

awk -F ‘:’  '$1~/root/' 1.log
  第一列  匹配 root  显示所有列

{print NR}
显示个别列  NR为显示 行号


awk -F ':' '$3==0' 1.log
匹配第三段 是0的

>=  大于 等于
!=  不等于
$3<$4  符合这个比较项的
$3==$4  需要2个等号
1个等号 是赋值

$3==$4 && &1==$2    && 并且~

awk -F ':' '{print $NF}' 1.log
       此时 NF 等于7

          'NR>20 && $NF !="/sbin/nologin" '
          20行以后  并且 7列不等于

awk -F ':' '{(tot=tot+$3)}; END{print tot}' 1.log
          将第三列 连续相加

awk -F ':' '{(if $1=="root") print $0}' 1.log
   第一列 为 root  的行

awk -F ':'  '$7=$3+$4' 1.log
    第7列 等于  3  4 列相加  

awk练习题
用awk 打印整个test.txt （以下操作都是用awk工具实现，针对test.txt）
查找所有包含 'bash' 的行
用 ':' 作为分隔符，查找第三段等于0的行
用 ':' 作为分隔符，查找第一段为 'root' 的行，并把该段的 'root' 换成 'toor' (可以连同sed一起使用)
用 ':' 作为分隔符，打印最后一段
打印行数大于20的所有行
用 ':' 作为分隔符，打印所有第三段小于第四段的行
用 ':' 作为分隔符，打印第一段以及最后一段，并且中间用 '@' 连接 （例如，第一行应该是这样的形式 'root@/bin/bash' ）
用 ':' 作为分隔符，把整个文档的第四段相加，求和