shell编程速查手册

徐冬丽

Shell编程速查手册
https://blog.atime.me/note/shell-scripting-summary.html
　　总结一下日常Shell脚本里常用的知识，忘记时方便查阅。
常见的shell
　　常见的Linux发行版里，默认的shell一般是dash(sh)或bash，不同的shell对脚本的支持也各不相同。若无特殊说明，以下shell知识都是基于Ubuntu 14.04 x86_64系统上的bash 4.3。
Shell编程书籍
　　只看过Advanced Bash-Scripting Guide，简称ABS。感觉这本电子书内容详尽，例子很多，作者维护地也很积极。
　　以下只总结一些关键知识点。
变量
变量赋值
　　赋值操作符左右不能有空白字符。
a=1024# 清空变量a=unset a# 变量清空后，在做计算时为0let "b = 100 / (a + 2)"echo $b# 50${} $() $(())
　　${ls}和$ls一样，都是取变量ls的值，$(ls)则表示执行命令ls。
　　$(( e ))则返回表达式e的值，见下文的算术操作。
　　假设当前目录下有两个文件fileA和fileB，下同。
ls=1024echo $ls# 1024echo ${ls}# 1024echo $(ls)# fileA fileBecho `ls`# fileA fileBecho $(( 1 + 2 ))# 3间接引用
　　以上变量赋值称为直接引用，例如
a="b"echo ${a}# b　　间接引用其实就是获取变量的值的值，在上面的例子里就是变量b的值，可以使用${!a}来获取。
a="b"b=2echo ${!a}# 2弱引用 vs 强引用
　　双引号和单引号的区别。
a=1024echo "$a"# 1024$ echo '$a'# $a　　双引号还能在echo的时候保留变量里的换行符。
a=`ls -1`echo $a# 输出里的换行符变成了空格# fileA fileBecho "$a"# fileA# fileB特殊变量
　　见特殊变量。
true和false
　　true和false命令的作用就类似c语言里的true和false关键字。
数组
　　bash支持一维数组
a=(1 2 3 4 55)echo ${a[0]}# 1echo ${a[4]}# 5echo ${a[100]}## 获取全部数组元素echo ${a

}# 1 2 3 4 5echo ${a[@]}# 1 2 3 4 5# 获取长度echo ${#a[4]}# 2echo ${#a

}# 5echo ${#a[@]}# 5　　需要注意的几点

• 　　数组越界不返回（null）
  
• 　　${arr
  
• }和${arr[@]}返回全部元素
  
• 　　${#arr[N]}返回对应元素(或全部元素)的字符串长度
  

算术操作
　　简单的整数计算可以通过bash内置的let, (())来实现，详细文档可参考Shell Arithmetic。
(( a = (1 + 101) / 3 ))let "a = (1 + 101) / 3"　　复杂的数学计算或浮点数计算可以使用bc工具，见下文。
字符串操作
　　需要注意的是，shell是弱类型的。
　　注: str=string, pat=pattern, rep=replacement

• 　　字符串替换: ${str/pat/rep}，${s//pat/rep}, ${s/#pat/rep}, ${s/%pat/rep}
  a="hello world"b=${a/world/Tom}echo $b# hello Tom# 全部替换a="aaaa"echo ${a//a/b}# bbbb# 只替换头部a="123456"echo ${a/#123/ABC}# ABC456echo ${a/#456/ABC}# 123456# 只替换尾部a="123456"echo ${a/%123/ABC}# 123456echo ${a/%456/ABC}# 123ABC
  
• 　　获取字符串长度: ${#str}
  a="hello world"echo ${#a}# 11
  
• 　　提取字串: ${str:position:length}
  a="123456"echo ${a:1:3}# 234
  
• 　　删除字串
  　　例子
  a="Good morning, Tom"echo ${a#G* }# morning, Tomecho ${a##G* }# Tomecho ${a%o*m}# Good morning, Techo ${a%%o*m}# G　　这里的pattern仅支持有限的正则表达式操作，见模式匹配。
  
  
  
  • 　　${s#pat}: 从开头删除最短的匹配
    
  • 　　${s##pat}: 从开头删除最长的匹配
    
  • 　　${s%pat}: 从结尾删除最短的匹配
    
  • 　　${s%%pat}: 从结尾删除最长的匹配
    
  
  

条件表达式
　　常用于if和while语句中，退出状态为0则表示true，不为0表示false。也可单独使用。
[ vs [[
　　bash支持[内置命令(非/usr/bin/[1)和[[关键字来构造条件表达式，[和test内置命令的效果是一样的；[[构造的表达式类似c语言，相对更直观一些，支持的操作符也更多一些。
　　[支持的比较操作符

• 　　数字比较
  
  
  
  • 　　-eq: 相等(equal)，[ $a -eq $b ]
    
  • 　　-ne: 不相等(not equal)
    
  • 　　-gt: 大于(greater than)
    
  • 　　-lt: 小于(less than)
    
  • 　　-ge: 大于等于(greater than or equal to)
    
  • 　　-le: 小于等于(less than or equal to)
    
  
  
• 　　字符串比较，进行字符串比较的时候尽量带上引号
  
  
  
  • 　　=: 相等， [[ "$a" = "$b" ]]，注意等号两边必须保留空格。
    
  • 　　==: 相等， 在[和[[中表现不同2
    
  • 　　!=: 不相等
    
  • 　　: 大于，按字典序比较
    
  • 　　-z: 字符串是null("")，即长度为0
    
  • 　　-n: 字符串不是null，此时必须将变量"引"起来：[ -n "$str" ]
    
  
  
• 　　常用的文件比较，所有的文件操作符见ABS 7.2. File test operators
  
  
  
  • 　　-e: 文件存在
    
  • 　　-f: 是regular文件，可使用ls -l查看
    
  • 　　-s: 文件大小不是0
    
  • 　　-d: 文件是目录
    
  • 　　-h: 文件是软链接
    
  • 　　-L: 同上，文件是软链接
    
  • 　　-r: 当前用户对文件有读权限
    
  • 　　-w: 当前用户对文件有写权限
    
  • 　　-x: 当前用户对文件有执行权限
    
  • 　　a -nt b: 文件a比文件b新（修改时间更晚）
    
  • 　　a -ot b: 文件a比文件b旧（修改时间更早）
    
  
  
• 　　其他
  
  
  
  • 　　!: 逻辑非
    
  • 　　-a: 逻辑与，类似于c语言的&，每个后续的表达式都要比较
    
  • 　　-o: 逻辑或，类似于c语言的|，每个后续的表达式都要比较
    
  
  

　　[[支持的比较操作符

• 　　所有[中支持的操作符
  
• 　　扩展的数字比较
  
  
  
  • 　　: 大于
    
  • 　　=: 大于等于
    
  
  
• 　　其他扩展
  
  
  
  • 　　&&: 逻辑与，类似于c语言的&&，遇到true便退出，不再比较后续的表达式
    
  • 　　||: 逻辑或，类似于c语言的||，遇到false便退出，不再比较后续的表达式
    
  
  

操作符优先级
　　不要依赖优先级，依赖括号()
　　下面由高到低列出常见的操作符的优先级，全面的优先级表见ABS 8.4. Operator Precedence。

• 　　++ -- 自增和自减
  
• 　　! 逻辑非
  
• 　　** 乘方
  
• 　　* / % 乘除和取模
  
• 　　+ - 加减
  
• 　　-z -n 一元字符串比较操作符
  
• 　　-e -f -x 等一元文件比较操作符
  
• 　　< -lt  等二元数字/字符串比较操作符
  
• 　　-nt -ot 等二元文件比较操作符
  
• 　　-a && 逻辑与
  
• 　　-o || 逻辑或
  
• 　　= 赋值操作符
  

变量的真假

• 　　未初始化，被赋值为null或被unset的变量在条件表达式里都是假。
  a=a2=""  # 也是nullb=1; unset bif [ ! $a ]; then echo "a is false"; fi# a is falseif [ ! $a2 ]; then echo "a2 is false"; fi# a2 is falseif [ ! $b ]; then echo "b is false"; fi# b is falseif [ ! $c ]; then echo "c is false"; fi# c is false
  
• 　　其他正常初始化的变量都是真
  a=1b=0c=-1d="false"if [ $a ]; then echo "a is true"; fi# a is trueif [ $b ]; then echo "b is true"; fi# b is trueif [ $c ]; then echo "c is true"; fi# c is trueif [ $d ]; then echo "d is true"; fi# d is true
  

命令列表里的与和或
　　除了在条件表达式中，bash还支持在条件命令列表里使用&&和||，作用类似c语言里的&&和||。

• 　　&&: 仅当前一条命令的退出状态为0(true)时才执行下一条命令。
  
• 　　||: 仅当前一条命令的退出状态不为0(false)时才执行下一条命令。
  

　　例如
true && echo hello# hello[ 1 -eq 1 ] && echo hello# hellofalse || echo hello# hello控制语句
if语句
if [condition]; then　　commands...
　　elif [condition2]; then
　　commands...
　　else
　　commands...
　　fi

• 　　elif和else都可省略。
  
• 　　支持多个if语句嵌套。
  

case语句
　　case的候选项可以使用bash的正则表达式，比如用*来实现c语言里default的功能。
case "$var" in　　"$value1")
　　commands...
　　;;
　　"$value2")
　　commands...
　　;;
　　esac
　　以下代码取自ABS
while [ $# -gt 0 ]; do    # Until you run out of parameters . . .    case "$1" in　　-d|--debug)            DEBUG=1            ;;
　　-c|--conf)            CONFFILE="$2"            shift            if [ ! -f $CONFFILE ]; then                echo "Error: Supplied file doesn't exist!"                exit $E_CONFFILE     # File not found error.            fi            ;;    esac    shift       # Check next set of parameters.done
for循环
for arg in

　　do
　　commands...
　　done
　　例如
for i in $(seq 5); do    echo $idone　　for循环的输出可以pipe到其他命令，例如
for f in $(ls); do    echo $fdone | egrep "\.txt$"while循环
while [condition]; do　　commands...
　　done
　　例如，从标准输入读10次并输出，break continue和c语言里是一样的效果。
i=0limit=10while read value; do    echo $value    let i++    if [ $i -eq $limit ]; then        break    fidone　　还可以在条件表达式里使用(())，例如
(( i = 0 ))(( limit = 10 ))while (( i < limit )); do    echo $i    (( i++ ))done# 0# 1# ...# 9until循环
　　类似while循环，区别是当条件为false时执行，当条件为true时停止。
until [condition is true]; do　　commands...
　　done
函数
# 定义　　function_name() {
　　commands...
　　}
　　# 调用
　　function_name arg1 arg2 ... argN
　　在函数里用local定义的变量只能在函数体内使用。
函数参数



• 　　函数体内，使用位置参数$1, $2等来依此获取传入的参数。
  
• 　　在函数体内使用shift命令对函数的参数也有效。
  
• 　　使用$#来获取参数的个数。
  
函数返回值



• 　　可以使用return来终止函数并返回数据。
  
• 　　如果没有return语句，默认使用最后一条命令的退出状态来当作返回值。
  
• 　　可以使用$?来获取函数的返回值。
  
• 　　函数体内输入到标准输出的数据可以赋值给变量。
  
例子
　　一个比较脑惨的例子
show_params() {    while [ "$#" -ne 0 ]; do        echo $1        shift    done    return 0}nums=$(show_params 1 2 3)if [ "$?" -eq 0 ]; then    echo "show_params function succeeded:" $numselse    echo "show_params function failed"fi# show_params function succeeded: 1 2 3其他技巧
搜索子字符串
　　检查一个字符串$source是否包含某个字串$target，最方便的方法是
if [[ ${source} == *${target}* ]]; then　　...
　　fi
其他工具
　　未完成
expr
　　字符串操作
seq
bc
sed
awk
参考资料



• 　　Advanced Bash-Scripting Guide
  
• 　　Pattern Maching from gnu bash documentation
  
• 　　String contains in bash