三剑客之sed

jialiguo

• 文本处理三剑客:sed
  
• grep,egrep,fgrep:文本过滤器
  
• sed:Stream EDitor,行编辑器
  
• awk:文本格式化工具,报告生成器
  
• sed是一种流的编辑器,它一次处理一行内容,处理时当前处理的行存储在临时缓冲区中,称之为"模式空间"(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕.接着处理下一行,这样不断重复,直到文件末尾.文件内容并没有改变,除非使用重定向存储输出,或者加选项.sed主要用来自动编辑一个或者多个文件,简化对文件的反复操作,编写转换程序等等.
  

• sed
  
•       [option]....'script'[input-file]..
  

• 常用选项:
  
•     -n:不输出模式空间中的内容至屏幕;(默认自动打印,-n则表示只打印模式所指定的)
  
•     -e script, --expression=script:多点编辑;
  
•     -f /PATH/TO/SED_SCRIPT_FILE 从指定文件中读取编辑脚本
  
•     -r--regexp-extended:支持使用扩展正则表达式:
  
•     -i[SUFFIX],--in-place[=SUFFIX]:直接编辑源文件;一般加.bak(自己指定)意思修改前备份
  
• sed -i '/^UUID/d' fstab 删除所有以UUID开头的行
  
• sed -i.bak '2d'  f1   删除时顺便备份
  
• script:  '地址命令'
  
• 地址定界编辑命令:
  
•    1 . 空地址(不给地址):对全文的进行处理;
  
•    2 . 单地址:
  
•          #:指定行;
  
•          /pattern/:被此模式所匹配到的每一行;
  
• [iyunv@up ~]# sed -n '/^root/p' /etc/passwd
  
• root:x:0:0:root:/root:/bin/bash
  
•   3,地址范围
  
•        #,#:
  
•        #,+#:
  
•       #,/pat1/
  
•      /pat1/,pat2/
  
• [iyunv@up ~]#  sed -n '2,3p' /etc/passwd
  
• bin:x:1:1:bin:/bin:/sbin/nologin
  
• daemon:x:2:2:daemon:/sbin:/sbin/nologin
  
• [iyunv@up ~]#  sed -n '1,+1p' /etc/passwd
  
• root:x:0:0:root:/root:/bin/bash
  
• bin:x:1:1:bin:/bin:/sbin/nologin
  
• sed -n '/^r/,/^a/p' /etc/passwd
  
• 匹配r开头开始到a开头所有行
  
• sed -n '/10/,/^a/p' /etc/passwd
  
• 匹配到第10行到第一个匹配a开头的之间行
  
• 
  
• sed命令默认需要标准输入,也可用于文本筛选
  
• [iyunv@up ~]# cat /etc/passwd |sed -n "5p"
  
• lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
  
• [iyunv@up ~]# seq 10 | sed -n "2p"
  
• 2
  
• 4,步进;
  
•             1~2所有奇数行
  
•             2~2所有偶数行
  
• seq 10 |sed -n '1~2p' 取奇数行
  
•      seq 10 |sed '2~2d'
  
• seq 10 |sed -n '2~2p' 取偶数行
  
•      seq 10 |sed '1~2d'
  
• sed编辑命令使用:
  
•    d:删除模式所匹配到的行
  
•      [iyunv@up ~]# seq 10 |sed '1~2d'
  
•       2
  
•       4
  
•    p:显示模式所匹配到的行
  
•     a\text:在行后面追加文本"text",支持使用\n实现多行追加;
  
•      [iyunv@up ~]# seq 10 |sed '1~2a 0000000'
  
•       1
  
•       0000000
  
•       在所有奇数行后加00000
  
•    i \text:在行前面插入文本"text",支持使用\n实现多行插入;
  
• [iyunv@up ~]# seq 10 |sed '1,2i\   0000000'
  
• 0000000
  
• 1
  
• 0000000
  
• 2
  
•     加\可调整所加文本\n多行加入
  
•    c\text:把匹配到的行替换为此处指定的文本"text"
  
•   w/PATH/TO/SOMFILE:保存模式空间匹配到的行至指定文件中;
  
• [iyunv@up ~]# seq 10 |sed -n '1,2w  pp'
  
• [iyunv@up ~]# cat pp
  
• 1
  
• 2
  
•    r/PATH/TO/SOMFILE:读取指定文件内容至当前被模式匹配到的行后面;合并文件;
  
• [iyunv@up ~]# seq 10 |sed  '2,3r /etc/issue'
  
• 1
  
• 2
  
• CentOS release 6.8 (Final)
  
• Kernel \r on an \m
  
• 3
  
• CentOS release 6.8 (Final)
  
• Kernel \r on an \m
  

•      =:为模式匹配到的行打印行号;
  
• [iyunv@up ~]# sed '2,3=' /etc/passwd
  
• root:x:0:0:root:/root:/bin/bash
  
• 2
  
• bin:x:1:1:bin:/bin:/sbin/nologin
  
• 3
  
• daemon:x:2:2:daemon:/sbin:/sbin/nologin
  
•       !:条件取反;
  
• [iyunv@up ~]# seq 10 |sed  -n '2,8!p'
  
• 1
  
• 9
  
• 10
  
• 
  
•   s///:查找替换,其分隔符可自行指定,常用的由s@@@,s###等;
  
•   替换标记:
  
•      g:全局替换;
  
• [iyunv@up ~]# sed 's/root/ROOT/g' /etc/passwd
  
• ROOT:x:0:0:ROOT:/ROOT:/bin/bash
  
•      w/PATH/TO/SOMFILE:将替换成功的结果保存至指定文件中;
  
• [iyunv@up ~]# sed -n 's/root/ROOT/gw oo' /etc/passwd
  
•       [iyunv@up ~]# cat oo
  
•       ROOT:x:0:0:ROOT:/ROOT:/bin/bash
  
•       operator:x:11:0:operator:/ROOT:/sbin/nologin
  
•      p:显示替换成功的行;
  
•   [iyunv@up ~]# sed -n 's/root/ROOT/gp' /etc/passwd
  
• ROOT:x:0:0:ROOT:/ROOT:/bin/bash
  
• operator:x:11:0:operator:/ROOT:/sbin/nologin
  

• 练习:1删除/boot/grub/grub2.cfg文件中所有以空白字符开头的行的行首的所有空白字符;
  
•     sed 's@^[[:space:]]\+@@' /etc/grub2.cfg
  
• 2,删除/etc/fstab文件中所有已#开头的行的行首的#号及后面的所有空白字符;
  
•     sed 's@^[[:space:]]*@@' /etc/fstab
  
•     sed -e 's@^#[[:space:]]*@@' -e '/^UUID/d' /etc/fstab
  
• 3,输出一个绝对路径给sed命令,取出其目录,其行为类似于dirname;
  
•     echo "/var/log/messages" |sed 's@[^/]\+$@@'
  
•     echo "/var/log/messages" |sed 's@[^/]\+/\?$@@'
  
•     echo "/var/log/messages" |sed -r 's@[^/]+/?$@@'
  
•     /var/log/
  
• 高级编辑命令:
  
•     h :把模式空间中的内容覆盖至保持空间中;
  
•     H:把模式空间中的内容追加至保持空间中;
  
•     g:把保持空间中的内容覆盖至模式空间中;
  
•     G:把保持空间中的内容追加至模式空间中;
  
•    x:把模式空间中的内容与保持空间中的内容互换'
  
•    n:覆盖读取匹配到的行的下一行至模式空间中;
  
•    N:追加读取匹配到的行的下一行至模式空间中;
  
•    d:删除模式空间的行;
  
•    D:删除多行模式空间中的所有行;
  
• hold space 保持空间 用于临时存放未处理完的待处理的.
  
• 高级简单示例:
  
•     sed -n 'n;p'FILE:显示偶数行;
  
• [iyunv@up ~]#  seq 10 |sed -n 'n;p'
  
• 2
  
• 4
  
•    sed '1!G;h;$!d' FILE:逆序显示文件内容;
  
• [iyunv@up ~]# seq 10 |sed '1!G;h;$!d'
  
• 10
  
• 9
  
•    sed '$!d' FILE:取出最后一行
  
•     [root@up ~]# seq 10 |sed '$!d'
  
• 10
  
•    sed  '$!N;$!D' FILE :取出文件最后两行;
  
• [iyunv@up ~]# seq 10 |sed  '$!N;$!D'
  
•     9
  
•     10
  
•     sed'n;d' FILE  :显示奇数行
  
• [iyunv@up ~]# seq 10 |sed 'n;d'
  
• 1
  
• 3
  
•   取出IP地址
  
• [iyunv@up ~]# ifconfig  eth2|sed '2!d;s/^.*r://;s/ .*//'
  

• 192.168.174.129