|
之前用Scala和Go语言分别都写了一个爬虫,最近看了Perl,就来写个功能相同的版本。使用到了LWP::Simple模块,使用 cpan LWP安装即可(Ubuntu 13.04没有随Perl一同提供这个重要模块,太可惜了)。代码如下:
1 #!/usr/bin/perl
2 use LWP::Simple qw/get/;
3
4 my %pages;
5 print "Processing the index.\n";
6 $_ = get("http://www.yifan100.com/dir/15136/");
7 while(m#<a target="_blank" href="/article/(.*?)\.html" title="(.*?)" >#g){
8 $pages{$1}=$2;
9 }
10 for(keys %pages){
11 my ($l, $f) = ("http://www.yifan100.com/article/$_.html", "$_.txt");
12 open F, ">$f";
13 print "Processing $l.\n";
14 if(get($l) =~ m#<div class="artcontent">(.*)<div id="zhanwei">#s){
15 $_ = $1;
16 s#<br>#\n#g;
17 s#<.*?>##gs;
18 s#^\s+##g;
19 print "Writing to $f.\n";
20 print F;
21 }
22 close F;
23 }
显然,代码中用的是单线程(或者说单进程),全部执行完时间还是很多的(猜想主要是http下载时间比较长),之前用其他版本的测试时间也忘了。时间如下:
real 3m58.753s
user 0m0.900s
sys 0m0.632s
很明显使用Perl,代码少了很多(和Scala和Go相比),处理文本是Perl的优势所在。 |
|
|