Linux高级(二)

　　5.sed介绍

　　sed不与初始化文件打交道，它操作的只是一个拷贝，然后所有的改动如果没有重定向到一个文件，将输出到屏幕。
　　sed是一种很重要的文本过滤工具，使用一行命令或者使用管道与grep与awk相结合。是一种非交互性文本流编辑。
　　（1）调用sed的三种方式
　　使用sed命令行格式为：sed [options] sed命令 输入文件
　　使用sed脚本文件格式为：sed[options] -f sed脚本文件 输入文件
　　sed脚本文件[options] 输入文件
　　--不管是使用shell命令行方式或脚本文件方式，如果没有指定输入文件，sed从标准输入中接受输入，一般是键盘或重定向结果。
　　（2）sed 命令的options如下
　　-n：不打印
　　-c：下一命令是编辑命令
　　-f：如果正在调用sed脚本文件
　　（3）sed在文件中查询文本的方式
　　--使用行号，可以是一个简单的数字，或是一个行号的范围
　　--使用正则表达式
　　（4）读取文本的方式
　　x     x为一行号
　　x,y     表示行号范围从x到y
　　/pattern/   查询包含模式的行
　　/pattern/pattern/ 查询包含两个模式的行
　　pattern/,x   在给定的行号上查询包含模式的行
　　x,/pattern/   通过行号和模式查询匹配行
　　x,y!     查询不包含指定行号x和y的行
　　（5）基本sed编辑命令
　　p   打印匹配行
　　d   删除匹配行
　　=   显示文件行号
　　a\   在定位行号后附加新文本信息
　　i\   在定位行号后插入新文本信息
　　c\   用新文本替换定位文本
　　s   使用替换模式替换相应模式
　　r   从另一个文件中读文件
　　w   写文本到一个文件
　　q   第一个模式匹配完成后推出或立即退出
　　l   显示与八禁止ASCII代码等价的控制字符
　　{}   在定位行执行的命令组
　　n   从另一个文件中读文本下一行，并附加在下一行
　　g   将模式2粘贴到/pattern n/
　　y   传送字符
　　（6）举例说明：
　　sed -n '2p' test.txt 打印第二行的信息(注意：-n是不打印不匹配的信息，若没加-n，则打印文件的所有信息而不是匹配信息)
　　sed -n '1,4p' test.txt 打印第一行到第四行的信息
　　sed -n '/los/p' test.txt模式匹配los，并打印出来
　　sed -n '2,/los/p' test.txt 从第二行开始。。知道匹配第一个los
　　sed -n '/^$/p' test.txt 匹配空行
　　sed -n -e '/^$/p' -e '/^$/=' test.txt 打印空行及行号
　　sed -n '/good/a\morning' test.txt 在匹配到的good后面附加morning
　　sed -n '/good/i\morning' test.txt 在匹配到的good前面插入morning
　　sed -n '/good/c\morning' test.txt 将匹配到的good替换成morning
　　sed '1,2d' test.txt 删除第1和2行
　　sed 's/good/good morning/g' test.txt 匹配good并替换成goodmorning
　　send 's/good/& hello /p' test.txt 匹配到good就在其后面加上hello
　　send 's/good/ hello &/p' test.txt 匹配到good就在其前面加上hello
　　

　　6.合并与分割（sort,uniq,join,cut,paste,split）
　　(1)sot命令
　　sort [options] files 许多不同的域按不同的列顺序分类
　　-c 测试文件是否已经分类
　　-m 合并两个分类文件
　　-u 删除所有复制行
　　-o 存储sort结果的输出文件名
　　-t 域分隔符，用非空格或tab开始分类
　　+n ：n 为域号，使用此域号开始分类
　　-n 指定分类是域上的数字分类项
　　-r 比较求逆
　　sort -c test.txt 测试文件是否分类过
　　sort -u test.txt 排序并合并一样的行
　　sort -r test.txt 以相反的顺序排列
　　sort -t "/" +2 test.txt 以"/"分隔，第二个域开始分类
　　（2）uniq命令
　　uniq [options ] files 从一个文本文件中去除或禁止重复行
　　-u 只显示不重复行
　　-d 只显示有重复数据行，每种重复行只显示其中一行
　　-c 打印每一重复行出现次数
　　-f ：n为数字，前n个域被忽略
　　uniq -f 2 test.txt 忽略前2个域
　　（3）join 命令
　　join [options] file1 file2 用来将来自两个分类文本文件的行连在一起
　　-an，n为一数字，用于连接时从文件n中显示不匹配行
　　-onm ，连接域，n为文件号，m为域号
　　-jnm，n为文件号，m为域号，使用其他域作连接域
　　-t ，域分隔符。用来设置非空格或tab键的域分隔符。
　　（4）split命令
　　split -output_file_size intput_filename output_filename
　　用来将大文件分割成小文件。
　　-b n，每个分割文件的大小n
　　-C n，每个分割文件一行最多n字节
　　-l n，每个分割文件的行数
　　-n，同-l n
　　split -10 test.txt 将test.txt分割成10行的小文件
　　（5）cut 命令
　　cut -c n1-n2 filename 显示每行从开头算起 n1 到 n2 的文字。
　　cut -c 3-5 test.txt 显示test.txt中每行从第3到第5个字符
　　五、Shell函数
　　1.函数定义
　　shell允许将一组命令集或语句形成一个可用块，这些块称为shell函数
　　定义函数的格式：
　　

　　

　　function-name (){
　　command1
　　........
　　}
　　或 function function-name(){ #函数名前面多了个function关键字
　　command1
　　........
　　}
　　2.函数调用
　　以下是一个函数的脚本实例：
　　#!/bin/bash
　　#hello
　　function hello(){     #声明函数
　　echo "Hello!"   #函数的主体，输出"Hello!"
　　}           #函数结束
　　hello         #调用函数
　　3.参数传递
　　向函数传递参数就像在脚本是使用变量位置$1,$2,$3...$9
　　以下是一个传递参数的实例：
　　#!/bin/bash
　　#hellofun
　　function hello(){
　　echo "Hello! The first parameter is '$1'."
　　}
　　hello good
　　#该脚本执行的结果是: Hello! The first parameter is 'good'.
　　4.函数文件
　　保存函数的文件，用以上的例子写成一个函数文件如下：
　　#!/bin/bash
　　#hellofunction
　　function hello(){
　　echo "Hello!"
　　return 1
　　}
　　上面的hellofunction文件就是一个函数文件，可通过另一个脚本来调用
　　#!/bin/bash
　　#hellof
　　. hellofunction #注意点和hellofunction之间有个空格
　　hello
　　5.载入和删除
　　用set查看已载入的函数
　　用unset function-name 取消载入
　　举例如下：
　　#!/bin/bash
　　#hellof
　　. hellofunction
　　unset
　　hello   #因为已经取消载入。。所以会出错
　　6.函数返回状态
　　#!/bin/bash
　　#hellofun
　　function hello(){
　　echo "Hello! The first parameter is '$1'."
　　}
　　hello
　　echo $?   #输出返回的状态值（一般成功是返回0，其它值为失败）
　　六、脚本参数传递
　　1.getopts用法
　　获取多个命令行参数。举例说明：
　　#!/bin/bash
　　#getopts
　　ALL=false
　　HELP=false
　　FILE=false
　　VERBOSE=false
　　while getopts ahfvc: OPTION   #将ahfvc依次传给OPTION c后面的:表示-c时需传入参数
　　do
　　case ${OPTION} in
　　a)
　　ALL=true
　　echo "ALL IS ${ALL}"
　　;;
　　h)
　　HELP=true
　　echo "HELP IS ${HELP}"
　　;;
　　f)
　　FILE=true
　　echo "FILE IS ${FILE}"
　　;;
　　v)
　　VERBOS=false
　　echo "VERBOSE IS ${VERBOSE}"
　　;;
　　c)
　　c=${OPTARG}
　　echo "c value is $c"
　　;;
　　\?)
　　echo "`basename $0` -[a h f v] -[c value] file"
　　;;
　　esac
　　done
　　输入./getopts -a   输出：ALL IS true   #执行case a模式的命令
　　输入./getopts -h   输出：HLEP IS true #执行case h模式的命令
　　输入./getopts -f   输出：FILE IS true   #执行case f模式的命令
　　输入./getopts -v   输出：VERBOSE IS true   #执行case v模式的命令
　　输入./getopts -c   提示错误：需要传入参数 #c后面有“：”所以需传参数
　　输入./getopts -c hello 输出：c value is hello   #执行case c模式的命令
　　输入./getopts -b   输出：basename ./getopts -[a h f v] -[c value] file   #其他情况
　　高级一、深入讨论awk和<<
　　一.深入讨论awk
　　1.awk不仅是一个工具，它是一种语言。其涉及的条件操作符有：
　　<,<=,>,>=,==,!=,!~（不匹配正则表达式）, ~ (匹配正则表达式)
　　2. 逻辑操作符有：&& (and), || (or), ! (not)
　　3.awk的内置变量
　　ARGC   命令行参数个数
　　ARGV   命令行参数排列
　　ENVIRON 支持队列中系统环境变量的使用
　　FILENAME awk浏览的文件名
　　FNR   浏览的文件名
　　FS     设置输入域分隔符，等价于命令行-F选项
　　NF     浏览记录的域个数
　　NR     已读的记录数
　　OFS     输出域分隔符
　　ORS     输出记录分隔符
　　RS     控制记录分隔符
　　awk -F '#' '{print NF,NR,$0,ARGV[1]，ENVIRON["USER"]}' test.txt 以域为分隔符，打印域的个数，已读的记录数，整行信息，第一个参数（0的话是awk）及用户（最后一个是取得系统的环境变量）
　　4.awk的字符串函数
　　gsub(r,s) 在整个$0中用s替代r
　　gsub(r,s,t) 在整个t中用s替代r
　　index(s,t) 返回s中字符串t的第一个位置
　　length(s) 返回s的长度
　　match(s,r) 测试s是否包含匹配的r的字符串
　　split(s,a,fs) 用fs（分割符）将s分成序列a
　　sprint(fmt,exp) 返回fmt格式化后的exp
　　sub(r,s) 用$0中最左边最长的字串代替s
　　substr(s,p) 返回字符串s中从p开始的部分
　　substr(s,p,n) 返回字符串s中从p开始长度为n的部分
　　example: awk -F '#' '{if (gsub("s","S",$1)) print $1}' test.txt 以#为分割符，用"S"代替test.txt中每行第一个域中的"s"，并打印第一个域
　　awk -F '#' '{print (index($1,"s"))}' text.txt 打印“s”在每一行第一个域中的位置，若为0表示没有这个字符
　　5.awk中的转义字符
　　\b 退格键
　　\t tab键
　　\f 走纸换页
　　\ddd 八进制值
　　\n 新行
　　\c 任意其他特殊字符，如\\为反斜杠符号
　　\r 回车键
　　example: awk -F '#' '{print (index($2,'s')), "\t",$2}' test.txt 打印"s"在第二个域中的位置、退格(相当于键入tab键)、第二个域的内容
　　6.printf修饰符
　　%c   ASCII字符
　　%d   整数
　　%f   浮点数
　　%e   浮点数，科学记数法
　　%g   awk决定使用哪种浮点数转换，e或者f
　　%o   八进制数
　　%s   字符串
　　%x   十六进制数
　　example: awk -F '#' '{printf "%c\n",$1}' test.txt 打印test.txt文件中的第一个域的ASCII码 （注意"%c\n"与"$1"之间的"," 是不可以忽略的）
　　7.awk数组
　　awk中数组叫做关联数组(associative arrays)，因为下标记可以是数也
　　可以是串。awk中的数组不必提前声明，也不必声明大小。数组元素用0或
　　空串来初始化，这根据上下文而定。
　　awk 'BEGIN {print split("as#qw#1234",array2,"#")}' 表示以"#"为分割符，将"as#qw#1234"分割到array2数组中，并打印数组的长度
　　awk 'BEGIN {split("as#qw#1234",array2,"#"); print array[1]}' 如上，并打印该数组的第一个元素。（注意：这里的是数组是从下标1开始的）
　　8.举例分析：
　　（1） awk '{if ($1~/^21[0-9]/) print $0}' test.txt |wc -l 匹配test.txt中第一个域为210-219开头的行，并通过管道计算其数量。
　　（2）awk '{if ($4~/^\[07\/Jul\/2004/) print $0 }' test.txt | awk '{if ($7=="/htm/free_call.php") print $0} ' |wc -l 匹配test.txt中第四个域以 "[07/Jul/2004" 开头的且第7个域为"/htm/free_call.php"的所有行，并计算其数量。该语句本来的意思是：统计2004年7月24日访问 /htm/free_call.php的次数。
　　(3)以下是awk_array.sh的文件内容
　　#!/bin/awk -f   #注明是awk的语法，若无此行则按bash的语法编译会出错
　　#awk_array.sh
　　BEGIN{     #BEGIN模式中的命令
　　FS="#"
　　score["0-60"]=0   #score数组索引为"0-60"的元素（awk语法允许用字符串索引）
　　score["60-70"]=0
　　score["70-80"]=0
　　score["80-90"]=0
　　score["90-100"]=0
　　student["junior"]=0
　　student["senior"]=0
　　}
　　{
　　{ if ($1<60)         #如果第一个域的值小于60
　　score["0-60"]++     #score数组中索引为"0-60"的元素值+1
　　}
　　{ if($1>=60 && $1<70)
　　score["60-70"]++
　　}
　　{ if($1>=70 && $1<80)
　　score["70-80"]++
　　}
　　{ if($1>=80 && $1<90)
　　score["80-90"]++
　　}
　　{ if($1>=90&&$1<=100)
　　score["90-100"]++
　　}
　　}
　　{ #另senior_junior依次为student数组中的索引（有几个就循环几次）
　　for (senior_junior in student)
　　{if ($2==senior_junior)
　　student[senior_junior]++
　　}
　　}
　　END{
　　{ for (number in score) print "the score",number,"has",score[number],"students"}
　　{ for (senior_junior in student) print "The class has ",student[senior_junior],senior_junior,"students" }
　　}
　　若有文件grade.txt如下：
　　85#senior
　　87#junior
　　78#junior
　　69#senior
　　56#junior
　　98#senior
　　83#senior
　　输入命令./awk.sh grade.txt 则输出如下：
　　the score 0-60 has 1 students
　　the score 70-80 has 1 students
　　the score 90-100 has 1 students
　　the score 60-70 has 1 students
　　the score 80-90 has 3 students
　　The class has 4 senior students
　　The class has 3 junior students
　　

　　

　　二..深入讨论<< （标准输入）
　　举例来说明：
　　#!/bin/bash
　　#input.sh
　　cat<<hello       #打印此处开始到hello结束之间的所有字符
　　***************************
　　This is a test!
　　***************************
　　hello     #标准输入到此行之前结束（注意：这个hello必须在句首，其前面不能有任何字符，甚至是空格）
　　则输出:   ****************************
　　This is a test!
　　****************************
　　高级二、Shell工具
　　一.日志文件
　　1.创建日志文件的重要性：
　　记录重要的信息，如登录、运行情况、监控等。。为我们分析和排除错误非常有帮助
　　2.以时间为标识的日志文件
　　适用于长期存储的日志。举个创建以时间为标识日志的例子入下：
　　#!/bin/bash
　　#datelog.sh
　　current_date=`date ""+%Y%m%d` #当前的日期（ 年月日 ）
　　todaylog="log/${current_date}.log" #今天的日志文件名
　　#如果日志文件不存在，创建一个
　　if [ ! -f $todaylog ]
　　then
　　touch $todaylog
　　fi
　　#输出日志到日志文件
　　log_time_format=`date "+%Y-%m-%d %T"`
　　echo "${log_time_format} commands start.....">>${todaylog}
　　# commands blocks
　　sleep 4
　　log_time_format=`date "+%Y-%m-%d %T"`
　　echo "${log_time_format} commands end!">>${todaylog} #结束时记录日志
　　3.以进程号为标识的临时文件
　　一般记录脚本运行过程中需要暂时记录的信息，一旦脚本运行结束，这些信息就可以删除。举个以进程号为标识的日志的例子：
　　#!/bin/bash
　　#kill_process.sh
　　#取得当前进程号
　　current_pid=$$
　　#获得特定进程号并重定向到一个临时文件中
　　ps -aux|grep "/usr/sbin/httpd" | grep -v "grep"| awk '{print $2}' >/tmp/${current_pid}.txt
　　#commands start
　　for pid in `cat /tmp/${current_pid}.txt
　　do
　　{
　　echo "kill -9 $pid"
　　kill -9 $pid
　　}
　　done
　　rm -f /tmp/${current_pid}.txt   //脚本运行结束前删除该日志文件
　　

　　

　　二.信号
　　（１）. 信号就是系统向脚本或命令发出的消息，告知它们某个事情的发生。
　　（２）. kill -l 列出所有的信号
　　（３）. kill发送信号给进程
　　（４）. 一些信号的含义：
　　信号   信号名   含义
　　0             退出shell信号，可以从命令行输入exit或在一个进程或命令行中使用<CTRL-d>
　　1   SIGHUP     挂起或父进程被杀死
　　2   SIGINT     来自键盘的中断信号，通常是<CTRL-C>
　　3   SIGOUIT   从键盘退出
　　9   SIGKILL   无条件终止
　　11   SIGSEGV   段（内存）冲突
　　15   SIGTERM   软件终止(缺省杀进程)
　　（另外还有50多种信号，可以用kill -l 命令查看）
　　（５）. 举例说明：kill -s SIGKILL 1234 表示无条件终止进程1234(进程号)
　　通过kill -9 1234 其含义与上面一样。
　　kill -1 1234 和kill -s SIGHUP 1234都是挂起 进程号为1234的进程
　　

　　三.trap捕捉信号
　　（１）信号可以被应用程序或脚本捕获，并依据该信号（１、２、３和１５）采取相应的行动。一些信号不能被捕获。如，如果一个命令收到了信号９，就无法再捕获其他信号。
　　（２）捕捉到一个信号后，可能会采取三中
　　１］.不采取任何行动，由系统来进行处理（如信号９由系统处理）
　　２］.捕获该信号，但忽略它
　　３］.捕获该信号，并采取相应的行动
　　（３）trap可以使你在脚本中捕捉信号，命令形式为trap name signal(s)
　　其中,name是捕捉到信号以后所采取的一系列操作。实际中，name一般是一个专门用来处理所捕捉信号的函数。name需要用双引号（“”）引起来。signal是待捕捉的信号。
　　最常见的行动包括：
　　１］清除临时文件
　　２］忽略该信号(如trap "" 23)
　　３］询问用户是否终止该脚本进程
　　（４）举例说明：
　　#!/bin/bash
　　#trap.sh
　　trap 'exitprocess' 2　　　　#捕捉到信号２之后执行exitprocess function
　　LOOP=0
　　function exitprocess()
　　{
　　echo "You Just hit <CTRL-C>, at number $LOOP"
　　echo "I will now exit"
　　exit 1
　　}
　　while :   # 循环直到捕捉到信号（注意中间的空格）
　　do
　　LOOP=$[ $LOOP+1 ]
　　echo $LOOP
　　sleep 1
　　done
　　

　　四.eval
　　（１）eval命令首先会扫描命令行进行所有的置换，然后再执行该命令。该命令适用于那些一次扫描无法实现其功能的变量。
　　（２）举例：myfile="cat command.txt";`eval $myfile` 将会执行command.txt中的命令，如，若command.txt文件的内容是ls -al 则会执行该命令（一行行执行），若不是命令则提示出错信息。
　　五.logger
　　（１）logger命令向/var/log/messages文件发送信息
　　（２）logger命令的一般形式: logger -p -i message
　　-p：为优先级别，这里只涉及到提示用户注意的优先级，这也是缺省值
　　-i：在每个消息中记录发送消息的进程号
　　（３）举例说明：logger -p 5 -i "hello" 将“hello”记录到/var/log/messages中
　　高级三、运行级别脚本介绍
　　１.运行级别
　　（１）运行级别目录(/etc/rN.d)。 (N为1,2,3,4,5,6)
　　（２）查看当前运行级别，命令：runlevel
　　（３）运行级别目录文件格式(SXXscript,KXXscript),S表示在这个运行级别下面这个脚本的服务是打开的，Ｋ表示这个脚本的服务是停止的。
　　２.inittab
　　（１）运行级别控制文件(/etc/inittab)
　　（２）修改inittab文件
　　其中有一行"id:5:initdefault" 5是X11的启动模式，可以在此处更改启动模式，一般服务器是选择3（带网络连接的多用户模式），0－6的运行级别表示如下：
　　0　　　关机（不要设置initdefault为0）
　　1   单用户模式
　　2　　　不带网络连接的多用户模式
　　3　　　带网络连接的多用户模式
　　4　　　暂时没用到
　　5　　　X11
　　6   重起（不要设置initdefault为6）
　　其中有一行"# Things to run in every runlevel"该行下面可以添加各个级别下的运行脚本。比如添加"checkdisk:3:once:/sbin/checkdisk.sh >/dev/console 2>&1"
　　checkdisk:服务名称
　　3：表示当用户启动模式３时自动运行该脚本（不写的话表示所有模式下自动启动）
　　once:启动一次
　　/sbin/checkdisk.sh：脚本
　　>/dev/console 2>&1 将标准错误和标准输出重定向到文件/dev/console中
　　３.启动应用程序
　　（１）启动脚本分析(start|stop|restart)
　　cat /etc/init.d/crond
　　（２）启动脚本
　　service server start|stop|restart| ....
　　script_name start|stop|restart
　　举例：service crond restart 重起crond服务
　　service crond status 查看crond服务的状态
　　高级四、　脚本实例分析
　　1.cpdir.sh
　　#!/bin/bash
　　#cpdir.sh
　　#此脚本用于将源目录下的子目录全部复制到目的目录中,不复制目录中的文件，确保目的目#录中的子目录是空目录。
　　#脚本用法函数
　　usage()
　　{
　　echo "cpdir.sh 源目录　目的目录"
　　}
　　#判断是否为两个参数，否则提示脚本用法
　　#if [ $# -ne 2]
　　then
　　{
　　usage
　　exit 0
　　}
　　fi
　　srcdir =$1
　　desdir=$2
　　#判断源目录${srcdir}是否为目录，否则提示错误信息和用法
　　if[ ! -d ${srcdir} ]
　　then
　　{
　　usage
　　echo "错误：源目录${srcdir}不是目录"
　　exit
　　}
　　fi
　　#判断目的目录${desdir}是否为目录，否则提示错误信息和用法
　　if[ ! -d ${desdir} ]
　　then
　　{
　　usage
　　echo "错误：目的目录${desdir}不是目录"
　　exit
　　}
　　fi
　　processid=$$
　　#查找源目录下所有的子目录，输出并保存到/tmp/srcdir_pid.txt文件中
　　echo "源目录${srcdir}下的所有子目录"
　　echo "***********************************"
　　find ${srcdir}/* -type d |tee /tmp/srcdir_tmp_${processid}.txt
　　sed "s/^${srcdir}/${desdir}/g}" /tmp/srcdir_tmp_${processid}.txt >/tmp/srcdir_${processid}.txt
　　#在目的目录下建立空目录
　　rm -rf ${desdir}/*
　　for subdir in `cat /tmp/srcdir_${processid}.txt`
　　do
　　{
　　mkdir ${subdir}
　　}
　　done
　　echo "目标目录${desdir}下的所有的子目录"
　　echo "***********************************"
　　find ${desdir}/* -type d | tee /tmp/desdir_${processid}.txt
　　echo "比较目标目录和源目录的差异"
　　echo "***********************************"
　　diff /tmp/desdir_${processid}.txt /tmp/srcdir_${processid}.txt
　　rm -f /tmp/desdir_${processid}.txt /tmp/srcdir_${processid}.txt #删除临时文件