Linux之sed详解

5643532

文本处理三剑客：
   grep, egrep, fgrep：文本过滤器
   sed：Stream EDitor，流编辑器，行
   awk：文本格式化工具，报告生成器


sed 是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。


sed命令格式
   sed [OPTION]...  'script'  [input-file] ...
     script：地址定界编辑命令



常用选项(OPTION)：
   -n：不输出模式空间中的内容至屏幕；
   -e script, --expression=script：多点编辑；
   -f  /PATH/TO/SED_SCRIPT_FILE
      每行一个编辑命令；
   -r, --regexp-extended：支持使用扩展正则表达式；
   -i[SUFFIX], --in-place[=SUFFIX]：直接编辑原文件 ；
      ~]# sed  -e  's@^#[[:space:]]*@@'   -e  '/^UUID/d'  /etc/fstab
        
地址定界(script)：
   (1) 空地址：对全文进行处理；
   (2) 单地址：
       #：指定行；
       /pattern/：被此模式所匹配到的每一行；
   (3) 地址范围
       #,#：
       #,+#：
       #，/pat1/
       /pat1/,/pat2/
       $：最后一行；
   (4) 步进：~
       1~2：所有奇数行
       2~2：所有偶数行
               
编辑命令：
   d：删除；
   p：显示模式空间中的内容；
   a  \text：在行后面追加文本“text”，支持使用\n实现多行追加；
   i  \text：在行前面插入文本“text”，支持使用\n实现多行插入；
   c  \text：把匹配到的行替换为此处指定的文本“text”；
   w /PATH/TO/SOMEFILE：保存模式空间匹配到的行至指定的文件中；
   r  /PATH/FROM/SOMEFILE：读取指定文件的内容至当前文件被模式匹配到的行后面；文件合并；
   =：为模式匹配到的行打印行号；
   !：条件取反；
       地址定界!编辑命令；
   s/*/*/*：查找替换，其分隔符可自行指定，常用的有s@@@, s###等；
      替换标记：
        g：全局替换；
        w /PATH/TO/SOMEFILE：将替换成功的结果保存至指定文件中；
        p：显示替换成功的行；



举例：（将/etc/fstab文件cp到/tmp/fstab下）


删除某行  

1	[iyunv@bogon ~]# sed '1d' /tmp/fstab #删除第一行

1	[iyunv@bogon ~]# sed '$d' /tmp/fstab #删除最后一行

               

1	[iyunv@bogon ~]# sed '1,2d' /tmp/fstab #删除第一行到第二行

         

1	[iyunv@bogon ~]# sed '/boot/d' /etc/fstab #删除包含boot字符串的行

显示某行  

1	[iyunv@bogon ~]# sed -n '6p' /tmp/fstab   #显示第6行

     这里要加上-n选项，否则模式空间里的内容为文件的全部内容，默认也会输出。

1	[iyunv@bogon ~]# sed -n '2，$p' /tmp/fstab  #显示第二行到最后一行

使用模式进行查询

1	[iyunv@bogon ~]# sed -n '/^#/p' /tmp/fstab #查询以#开头的行并输出

文本插入、替换

文本插入

1	[iyunv@bogon ~]# sed '/^#/a \this test' /tmp/fstab

    a \text：在行后面追加文本“text”，支持使用\n实现多行追加；

1	[iyunv@bogon ~]# sed '/^#/i \this test' /tmp/fstab

            i  \text：在行前面插入文本“text”，支持使用\n实现多行插入


行替换

1	[iyunv@bogon ~]# sed '/^#/c\*' /tmp/fstab

        将以#开头的行替换为*

1	[iyunv@bogon ~]# sed -n '/^#/w/tmp/sed.txt' /tmp/fstab

        保存模式空间匹配到的行至指定的文件中。将以#开头的行保存到/tmp/sed.txt中


文件合并(读取指定文件的内容至当前文件被模式匹配到的行后面)

1	[iyunv@bogon ~]# sed '/^#/ r ./abc.txt' /tmp/fstab

    将以#号开头的行后面分别加上abc.txt文件里的内容

为模式匹配到的行打印行号

1	[iyunv@bogon ~]# sed '/^#/=' /tmp/fstab

文本查找与替换
   

1	[iyunv@bogon ~]# sed 's@#@*@g' /tmp/fstab

       将#替换为*。文本字符串替换

   

1	[iyunv@bogon ~]# sed 's@#@*@w abc.txt' /tmp/fstab

      将符合替换条件的行写入到文本中

1	[iyunv@bogon ~]# sed 's@UUID@uuid@g' /tmp/fstab

        将UUID替换为uuid


练习1：删除/boot/grub/grub2.cfg文件中所有以空白字符开头的行的行首的所有空白字符；

1	[iyunv@bogon ~]#sed  's@^[[:space:]]\+@@' /etc/grub2.cfg

练习2：删除/etc/fstab文件中所有以#开头的行的行首的#号及#后面的所有空白字符；

1	[iyunv@bogon ~]# sed  's@^#[[:space:]]*@@'  /etc/fstab

练习3：输出一个绝对路径给sed命令，取出其目录，其行为类似于dirname；

1 2	[iyunv@bogon  ~]# echo "/var/log/messages/" | sed 's@[^/]\+/\?$@@'    [iyunv@bogon ~]# echo "/var/log/messages" | sed -r 's@[^/]+/?$@@'

------------------------------------------高级进阶-----------------------------------------

高级编辑命令：
    h：把模式空间中的内容覆盖至保持空间中；
    H：把模式空间中的内容追加至保持空间中；
    g：把保持空间中的内容覆盖至模式空间中；
    G：把保持空间中的内容追加至模式空间中；
    x：把模式空间中的内容与保持空间中的内容互换；
    n：覆盖读取匹配到的行的下一行至模式空间中；
    N：追加读取匹配到的行的下一行至模式空间中；
    d：删除模式空间中的行；
    D：删除多行模式空间中的所有行；
            
示例：
  sed  -n  'n;p'  FILE：显示偶数行；
  sed  '1!G;h;$!d'  FILE：逆序显示文件的内容；
  sed  ’$!d'  FILE：取出最后一行；
  sed  '$!N;$!D' FILE：取出文件后两行；
  sed '/^$/d;G' FILE：删除原有的所有空白行，而后为所有的非空白行后添加一个空白行；
  sed  'n;d'  FILE：显示奇数行；
  sed 'G' FILE：在原有的每行后方添加一个空白行；