shell编程之sed

yjhfgdfd

sed命令

文本处理三剑客:
    grep,egrep,fgrep:文本过滤器
    sed:流编辑器,以行为单位
    awk：文本格式化工具,报告生成器
   
sed [OPTION]... {script-only-if-no-other-script} [file]...   

    常用选项：
        -n:不打印没关系的行;不输出模式空间的内容至屏幕;
        -e:多点编辑;连接多个命令同时处理;也可以用分号";"隔开
        -f:指定脚本文件,并将脚本应用到文件;
            脚本文件的内容,每行一个命令;
                cat sed.rules
                    s/this/THAT/g
                    /^$/d
                sed -f sed.rules sed.text   
        -r:支持使用扩展正则表达式;
        -i:直接修改原文件;可以用-i.bak参数备份原文件;
            sed –i.bak ‘s/dog/cat/g’ pets
        
    地址定界:
        (1)不给地址:对全文进行处理;
        (2)单地址:
            #:指定第几行;
            /PATTERN/:被此模式匹配到的每一行;
        (3)    地址范围:
            #,#:第几行到第几行;
            #,+#:第几行到+#行;
            #,/PAT1/:第几行到第一次匹配到PAT1的行;
            /PAT1/,/PAT2/:第一次匹配到PAT1的行到第一次匹配到PAT2的行;
            $:最后一行;
        (4)步进:~
            1~2:所有奇数行;
            2~1:所有偶数行;
            
    编辑命令:
        d:删除
            sed '1,5d' /etc/fstab
        p:打印,必须使用-n参数;   
            ifconfig | sed -n '2p' 显示第二行
            sed '1~2p' /etc/fstab 奇数行会显示2次
            sed -n '1~2p' /etc/fstab 只显示奇数行
            sed '1~2d' /etc/fstab 显示偶数行
        i\text:在行前面插入文本"text",支持使用\n实现多行插入;
            sed '3 i \new line' /etc/fstab 在第三行前面插入new line
            sed '3 i \new line\nanother new line' /etc/fstab
        a\text:在行后面追加文本"text",支持使用\n实现多行追加;
            sed '3 a \new line' /etc/fstab 在第三行后面插入new line
            sed '/UUID/ a \new line' /etc/fstab 在包含UUID的行后面插入new line
        c\text:把匹配到的行替换为此处指定的文本"text",注意是整行替换;   
        w:保存匹配到的结果到指定位置;
            sed -n '/^[^#]/p' /etc/fstab
            sed '/^[^#]/w /tmp/fstab.new' /etc/fstab
        r:从其它文件读取文本,并插入匹配行之后;文件合并;
            sed '3 r /etc/issue' /etc/fstab
        =:为匹配到的行打印行号;
            sed '/^UUID/=' /etc/fstab
        !:条件取反;
            sed '/^[^#]/d' /etc/fstab 删除非#开头的行
            sed '/^#/!d' /etc/fstab 删除非#开头的行
            sed '5!d' /etc/fstab 只保留第5行(处理未匹配到的行)
            s///:查找替换,其分隔符可自行指定,常用的有s@@@,s###等;
            默认情况只替换第一次匹配到的内容;
                sed 's/line/LINE'
            要想每行最多匹配2个,可使用/2
                sed 's/line/LINE/2'
            替换标记:
                g:全局替换;
                p:显示替换成功的行;
                w:将替换成功的结果保存至指定文件中;                    
        &:引用前面搜索到的整个内容;
            查找替换命令为/tmp/functions文件的每个以空白字符开头的行的行首加上#;
            :%s@^[[:space:]]@#&@g
        \(\):后向引用,引用分组;如s/\(love\)able/\1r,loveable替换成lovers;
               
    练习:
        1、删除/etc/prelink.conf.d/grub2.conf文件中所有以空白字符开头的行的行首的空白字符;
            sed 's@^[[:space:]]\+@@' /etc/prelink.conf.d/grub2.conf
            
        2、删除/etc/fstab文件中所有以#开头的行的行首的#号及#后面的所有空白字符;
            sed 's@^#[[:space:]]*@@' /etc/fstab
            
        3、输出一个绝对路径给sed,取出其目录;
            echo "/var/log/messages" | sed 's@[^/]\+$@@'
            echo "/var/log/messages" | sed -r 's@[^/]+$@@'
            
        4、在/root/install.log每一行行首增加#号;
            sed 's@^.*@#&@' /root/install.log
            sed 's@^@#@' /root/install.log
        
        5、在/etc/fstab文件中不以#开头的行的行首增加#号;               
            sed '/^#/!s@.*@#&@' /etc/fstab    (处理未匹配到的行)
            sed '/^#/!s@^@#@' /etc/fstab
            
        6、处理/etc/fstab路径,使用sed命令取出其目录名和基名;
            echo "/etc/fstab" | sed 's@[^/]\+$@@'
            echo "/etc/fstab" | sed 's@^.*[/]@@'
        
        7、利用sed取出ifconfig命令中本机的IPv4地址;
            ifconfig | sed -n '2p' | tr -s " " | cut -d" " -f3
            
        8、    过滤出/media/cdrom/Packages目录下rpm包的架构字段,并统计每种架构的个数;
            ls *.rpm | sed 's@.*\.\(.*\)\.rpm@\1@' | sort | uniq -c
            ls *.rpm | sed -r 's@.*\.(.*)\.rpm@\1@' | sort | uniq -c
            ls *.rpm | sed -r 's@.*\.(.*)\..*@\1@' | sort | uniq -c
            ls *.rpm | rev | cut -d. -f2 | rev | sort | uniq -c
                rev:reverse lines of a file or files.把每一行反序显示;
               
        9、统计一个文件里面哪个单词重复的次数最多;
            egrep -o "[[:alpha:]]+" /etc/init.d/functions | sort | uniq -c | sort -n
            sed 's@[^[:alpha:]]@\n@g' /etc/init.d/functions | sort | uniq -c | sort -n        
            
            
高级编辑命令:
    h:把模式空间中的内容覆盖至保持空间中;
    H:把模式空间中的内容追加至保持空间中;
    g:把保持空间中的内容覆盖至模式空间中;
    G:把保持空间中的内容追加至模式空间中;
    x:把模式空间中的内容与保持空间中的内容互换;
    n:覆盖读取匹配到的行的下一行至模式空间中;读取下一个输入行,用下一个命令处理新的行;
    N:追加读取匹配到的行的下一行至模式空间中;
    d:删除模式空间中的行;
    D:删除多行模式空间中的所有行;
   
    示例:
        sed -n 'n;p' file:显示偶数行;
        sed '1!G;h;$!d' file:逆序显示文件内容;
        sed '$!d' file:取出最后一行;
        sed '$!N;$!D' file:取出后两行;
        sed '/^$/d;G' /etc/fstab:删除原有的所有空白行,而后为所有的非空白行后添加一个空白行;
        sed 'n;d' file:显示奇数行;
        sed 'G' file:在原有的每行后方添加一个空白行;
        sed -n '1!G;h;$p' file:逆序显示文件内容;