# at the command line, type each line after the '>'
# and you'll get the output that
# follows it
# print the @ARGV contents with no program arguments
> perl -MData::Dumper -e'print Dumper \@ARGV'
$VAR1 = [];
# print the @ARGV contents with arguments "a" and "b"
> perl -MData::Dumper -e'print Dumper \@ARGV' a b
$VAR1 = [
'a',
'b'
];
# print the @ARGV contents with warnings on, and arguments "a" and "b"
> perl -w -MData::Dumper -e'print Dumper \@ARGV' a b
$VAR1 = [
'a',
'b'
];
# print the @ARGV contents with arguments "a", "b", and "-w"
# note how the -w is not stolen by Perl if it follows arguments
# that Perl knows it doesn't want
> perl -MData::Dumper -e'print Dumper \@ARGV' a b -w
$VAR1 = [
'a',
'b',
'-w'
];
Here is the final line that includes some <angle brackets>
除非您的 shell 限制了参数的数量或长度,不然您可以向 Perl 传递任意数量的参数。在 Perl 中打开神奇的文件句柄(filehandle)<>,这会将传送给 Perl 的每个参数作为文件名打开并逐行读取每个文件的内容。缺省情况下,$_ 变量会保存每一行。
Shell 使引号之间的所有内容都成为一个参数。这就是为什么在清单 1 中我们可以写成 -e'print Dumper \@ARGV' 并且 Perl 可以将其看成单个一行程序脚本的原因。单引号更好,因为使用单引号后您可以在一行程序内使用双引号。Perl 中的双引号用于解释双引号之间的任何内容。另一个示例或许会有助于进一步说明这一点:
清单 2. 单引号 vs. 双引号
# print the Perl process ID, followed by a newline
> perl -e'print "$$\n"'
2063
# error: the first two double quotes go together, the rest is passed
# to the script directly
> perl -e"print "$$\n""
Bareword found where operator expected at -e line 1, near "1895n"
(Missing operator before n?)
syntax error at -e line 1, next token ???
Execution of -e aborted due to compilation errors.
用 bash 比用 tcsh 要好些,因为 bash 允许内部的双引号用 \ 字符进行转义。但是 shell 仍然在将双引号内的 $$ 传递给 Perl 之前对其进行解释。结论是:不要使用双引号来指定以 -e 开始的一行程序脚本参数。请参阅 perldoc perlrun 以获取更多的详细信息,但是您主要应清楚什么在系统上有效并坚持下去。
到目前为止您已经了解了 -e 和 -M 开关所起的作用:导入模块和运行语句。下面我列出了一些有用的其它开关;为了不把您搞糊涂,所以省略了那些更复杂的开关。请参阅 perldoc perlrun 以获取完整的列表和一些使用想法。
整洁性
-w
打开警告
-Mstrict
打开严格编译指示(pragma)
数据
-0
(这是个零)指定输入记录分隔符
-a
将数据分割成名为 @F 的数组
-F
指定分割时 -a 使用的模式(请参阅 perldoc -f split)
-i
在适当的位置编辑文件(请参阅 perldoc perlrun 以获取大量详细信息)
-n
使用 <> 将所有 @ARGV 参数当作文件来逐个运行
-p
和 -n 一样,但是还会打印 $_ 的内容
执行控制
-e
指定字符串以作为脚本(多个字符串迭加)执行
-M
导入模块
-I
指定目录以搜索标准位置前的模块
文件操作
假定您在一个目录中有一些文件需要用特定的方式重命名。例如,所有包含单词“aaa”的文件应进行重命名,用单词“bbb”进行代替。我们将不使用 Unix“mv”命令,因为用 Perl 的 rename() 函数来重命名文件已经相当不错了(请参阅 perldoc -f rename 以获取当使用 rename() 出问题时的详细信息)。
请参阅清单 3 以获取将文件从 aaa 重命名为 bbb 的一行程序脚本。
find . 命令打印出当前目录下的所有文件和目录列表。如果您只想要查看文件,那么就给 find 添加“-type f”参数。获取 find 的输出(一个文件列表)并将其传递给一行程序。
一行脚本使用 -ne 参数,该意味着它会被重写成:
清单 4. 将文件从 aaa 重命名为 bbb(已分解)
while (<>)
{
chomp; # trim the newline from the filename
next unless -e; # the filename ($_) must exist
$oldname = $_; # $oldname is now $_
s/aaa/bbb/; # change all "aaa" to "bbb" in $_
next if -e; # the new filename mustn't exist
rename $oldname, $_; # rename the old to the new name
}
正如您所看到的那样,这是个相当复杂的七行脚本。-n 开关简化了很多东西。但是尽管如此,您还是必须知道 $_ 变量和 s/// 及 -e 运算符(请参阅 perldoc perlop 页面以获取详细信息)。File::Find 标准 Perl 模块本来可以代替 Unix find 命令用于进行文件查找,但是脚本也会随之变得太大而不再是一行程序了。
一行程序巧妙地平衡了有用性和复杂性,您必须准备好在需要时将它们重写成实际脚本,而不应让程序过于麻烦而无法控制。
下面是文件处理的另一个示例:用已知的命名结构浏览 MP3 文件的目录并抽取专辑名。让我们假设文件名是“Artist-Album-Track#-Song.mp3”。
清单 5. 查找 Artist-Album-Track#-Song.mp3 的专辑名
Ted 通过描述从打印一系列行到从尾到头地列出文件内容,演示了如何更少地使用这些简洁的一行 Perl 脚本来做更多的事。
正如老读者可能已猜到的那样,本文是“一行程序 101”(“功能丰富的 Perl”的上一篇专栏文章)的续篇。要理解这里的内容,务必要了解上篇文章,所以在继续阅读本文之前请看一下上篇文章。
本文的目的与上一篇相同,即要演示清晰且可重用的代码,而这些代码未必是某个程序的最简短或最有效的版本。记住了这一点,就让我们开始认识这些代码!
Tom Christiansen 的列表
几年前,Tom Christiansen 在 Usenet 上贴了一个一行程序列表,对于任何 Perl 程序员而言,该列表至今仍很有趣且有用。我们将以该列表为基础查看更复杂的一行程序;该完整列表可在 tomc.txt 文件中获得(请参阅参考资料以下载这个文件)。该列表与“One-liners 101”一文稍微有点重复,我将设法指出那些重复之处。
awk 常用于诸如将一个文本分解成几段之类的基本任务;Perl 擅长进行有目的的文本操作。因此,我们来查看第一个一行程序,它旨在将文本输入中的两列添加到脚本中。
清单 1. 象 awk 吗?
# add first and penultimate columns
# NOTE the equivalent awk script:
# awk '{i = NF - 1; print $1 + $i}'
perl -lane 'print $F[0] + $F[-2]'
那么这个小程序做了什么呢?几个开关是其神奇所在。-n 开关和 -a 开关使该脚本成为对输入的包装器,该包装器根据空格将输入组成 @F 数组;-e 开关对该包装器额外添加了一条语句。实际产生的有趣代码是:
清单 2:完整代码
while (<>)
{
@F = split(' ');
print $F[0] + $F[-2]; # offset -2 means "2nd to last element of the array"
}
另一个常见任务是打印两个标记之间或两个行号之间的文件内容。
清单 3:打印一系列行
# 1. just lines 15 to 17
perl -ne 'print if 15 .. 17'
# 2. just lines NOT between line 10 and 20
perl -ne 'print unless 10 .. 20'
# 3. lines between START and END
perl -ne 'print if /^START$/ .. /^END$/'
# 4. lines NOT between START and END
perl -ne 'print unless /^START$/ .. /^END$/'
清单 3 中第一个一行程序有个问题:它会遍历整个文件,即使它已找到所需范围的时候。第三个一行程序就没有这个问题,因为它将打印 START 标记和 END 标记之间的所有行。如果有八组 START/END 标记,那么第三个一行程序将打印所有八组标记中的行。
要防止出现第一个一行程序的效率低下很容易:就是使用 $. 变量,它会告知您当前的行。如果 $. 超过 15 就开始打印,而如果 $. 大于 17 就退出。
清单 4:更有效地打印数字范围中的行
# just lines 15 to 17, efficiently
perl -ne 'print if $. >= 15; exit if $. >= 17;'
打印已经讨论得够多了,让我们做一些编辑。勿庸置疑,如果您正在测试一行程序(特别是那些旨在修改数据的程序),那么您应该作备份。大多数程序员都认为细微的修改可能不会对一行程序产生显著改变;在编辑 Sendmail 配置或您的邮箱时可不要做那样的假设。
清单 5:进行适当编辑
# 1. in-place edit of *.c files changing all foo to bar
perl -p -i.bak -e 's/\bfoo\b/bar/g' *.c
# 2. delete first 10 lines
perl -i.old -ne 'print unless 1 .. 10' foo.txt
# 3. change all the isolated oldvar occurrences to newvar
perl -i.old -pe 's{\boldvar\b}{newvar}g' *.[chy]
# 4. increment all numbers found in these files
perl -i.tiny -pe 's/(\d+)/ 1 + $1 /ge' file1 file2 ....
# 5. delete all but lines between START and END
perl -i.old -ne 'print unless /^START$/ .. /^END$/' foo.txt
# 6. binary edit (careful!)
perl -i.bak -pe 's/Mozilla/Slopoke/g' /usr/local/bin/netscape
为什么 1 .. 10 指定的行号是从第 1 行到第 10 行?请阅读“perldoc perlop”手册页。基本上,.. 运算符在一个范围内迭代。因此,该脚本并不是数 10 个行,而是对 -n 开关生成的循环迭代 10 次(请参阅“perldoc perlrun”和清单 2,以获得该循环的示例)。
-i 开关的神奇之处在于它对 @ARGV 中的每个文件都用该脚本对该文件输出所产生的文件版本进行替代。因此,-i 开关使 Perl 成为可用于编辑文本的过滤器。不要忘了对 -i 开关使用备份选项。在 i 之后跟着一个扩展名将使用该扩展名对已编辑的文件作备份。
请注意 -p 开关和 -n 开关的使用。当您想显式打印数据时,使用 -n 开关。-p 开关隐式地将 print $_ 语句插入到 -n 开关所产生的循环中。因此,-p 开关更适用于对文件进行的完全处理,而 -n 开关更适用于选择性文件处理,这样的处理只需打印特定数据。
“One-liners 101”一文中也可以找到进行适当编辑的示例。
使文件内容反向排列并不是常见的任务,但是以下几个一行程序显示了 -n 开关和 -p 开关并不总是处理整个文件的最佳选择。
清单 6:文件颠倒排列的变化情况
# 1. command-line that reverses the whole input by lines
# (printing each line in reverse order)
perl -e 'print reverse <>' file1 file2 file3 ....
# 2. command-line that shows each line with its characters backwards
perl -nle 'print scalar reverse $_' file1 file2 file3 ....
# 3. find palindromes in the /usr/dict/words dictionary file
perl -lne '$_ = lc $_; print if $_ eq reverse' /usr/dict/words
# 4. command-line that reverses all the bytes in a file
perl -0777e 'print scalar reverse <>' f1 f2 f3 ...
# 5. command-line that reverses each paragraph in the file but prints
# them in order
perl -00 -e 'print reverse <>' file1 file2 file3 ....
如果您想将整个段落或整篇文件读入到单个字符串,那么 -0(零)标志非常有用。(它还可以使用任何字符数字,所以您可以将特殊字符用作标志。)在一个命令(-0777)中读取整个文件时要小心,因为大型文件将耗尽所有内存。如果您要从尾到头读取文件的内容(例如,为了分析日期从近到远排列的日志记录),那么使用 CPAN 模块 File::ReadBackwards。另请参阅“One-liners 101”,其中显示了使用 File::ReadBackwards 进行日志记录分析的示例。
请注意清单 6 中第一和第二个脚本间的相似之处。不过,第一个脚本与第二个完全不同。区别在于 <> 在标量上下文中的使用(如第二个脚本中使用 -n)或在列表上下文中的使用(如第一个脚本所做的)。
第三个脚本是回文检测器,它最初没有 $_ = lc $_; 段。我添加了该段以捕捉那些类似“Bob”的不完全相同的回文。
我所添加的段也可以写成 $_ = lc;,但是我认为显式地声明 lc() 函数的对象使一行程序更清晰。
Paul Joslin 的列表
Paul Joslin 真好,给我发了一些他的一行程序,让我在本文中使用。
清单 7:用随机数重写
# replace string XYZ with a random number less than 611 in these files
perl -i.bak -pe "s/XYZ/int rand(611)/e" f1 f2 f3
这是一个过滤器,它将 XYZ 替代成小于 611(该数字是任意选择的)的随机数。请记住 rand() 函数返回 0 和该函数的参数之间的一个随机数。
请注意每次都会用不同的随机数来替代 XYZ,因为迭代每次都对“int rand(611)”求值。
清单 8:揭示几个文件的基本性质
# 1. Run basename on contents of file
perl -pe "s@.*/@@gio" INDEX
# 2. Run dirname on contents of file
perl -pe 's@^(.*/)[^/]+@$1\n@' INDEX
# 3. Run basename on contents of file
perl -MFile::Basename -ne 'print basename $_' INDEX
# 4. Run dirname on contents of file
perl -MFile::Basename -ne 'print dirname $_' INDEX
一行程序 1 和 2 是 Paul 编写的,而我用 File::Basename 模块对它们进行了重写,这就是 3 和 4。它们的目的很简单,但是任何系统管理员都会觉得这些一行程序很有用。
清单 9:移动或重命名,它们在 UNIX 中是完全相同的操作
# 1. write command to mv dirs XYZ_asd to Asd
# (you may have to preface each '!' with a '\' depending on your shell)
ls perl -pe 's!([^_]+)_(.)(.*)!mv $1_$2$3 \u$2\E$3!gio'
# 2. Write a shell script to move input from xyz to Xyz
ls perl -ne 'chop; printf "mv $_ %s\n", ucfirst $_;'
对于老用户或系统管理员,基于某种模式来重命名文件是个很常见的任务。上面的几个脚本将完成两类作业:将 _ 字符前的文件名部分删除,或更改每个文件名,以便其第一个字母依照 Perl ucfirst() 函数而变成大写。
有一个被 Vladimir Lanin 称为“mmv”的 UNIX 实用程序,它也很有趣。它允许您根据简单模式来重命名文件,而且它的功能大得惊人。请参阅参考资料部分,以获取该实用程序的链接。
我的某些脚本
下面并不是一个一行程序,但它是个相当有用的脚本,它在刚出现时充当一行程序。它与清单 7 的相似之处在于它替换了固定字符串,但诀窍在于替代该固定字符串的字符串本身在下次替换时又成了固定字符串。
这个想法来自很久以前某个新闻组上的一个贴子,但我没能找到其最初版本。倘若您要在您所有系统文件中对一个 IP 地址用另一个 IP 地址替代(例如,如果您缺省的路由器已更改了),则该脚本很有用。该脚本在要重写的文件列表中包含 $0(在 UNIX 中,通常是脚本的名称)。
这个脚本作为一行程序来说,最终被证实太复杂,所以在要修改系统文件时,需要提供有关要执行什么的消息。
清单 10:对一个 IP 地址用另一个地址替代
#!/usr/bin/perl -w
use Regexp::Common qw/net/; # provides the regular expressions for IP matching
my $replacement = shift @ARGV; # get the new IP address
die "You must provide $0 with a replacement string for the IP 111.111.111.111"
unless $replacement;
# we require that $replacement be JUST a valid IP address
die "Invalid IP address provided: [$replacement]"
unless $replacement =~ m/^$RE{net}{IPv4}$/;
# replace the string in each file
foreach my $file ($0, qw[/etc/hosts /etc/defaultrouter /etc/ethers], @ARGV)
{
# note that we know $replacement is a valid IP address, so this is
# not a dangerous invocation
my $command = "perl -p -i.bak -e 's/111.111.111.111/$replacement/g' $file";
print "Executing [$command]\n";
system($command);
}
请注意 Regexp::Common 模块的使用,它是当今任何 Perl 程序员都必不可少的资源。没有 Regexp::Common,您将耗费大量时间尝试手工匹配某个数字或其它常用模式,而且很可能出错。
结束语
感谢 Paul Joslin 给我发来他的一行程序列表。根据一行程序所崇尚的简明精神,我希望您参阅“One-liners 101”,以获得有关一行 Perl 脚本的一些最终想法。