perl特定网页内容

jane27

参考资料：
http://home.donews.com/donews/article/2/22790.html   提取网页
http://huanyue.iteye.com/blog/373148   正则
http://boyun.sh.cn/blog/?p=1042 抓取脚本总结 乱码
http://hi.baidu.com/fanfuns/blog/item/ba650099ada8540d6e068c94.html   生成xml
 
 
总结：
a. 在 XP 下还有一种安装模块的方式：
  1 、进入 cmd
  2 、输入 perl   -MCPAN   -e   shell ，然后 install   File::Find （你要安装的模块）即可自动下载、安装模块。如果安 装本模块需要其他一些模块的支持，还能查找是否安装了这些模块并提示安装。第一次执行时可能需要执行一些相关的配置
或者：在dos命令行下启动ppm　
ppm　

获得帮助　
PPM>h　

列出ActiveState站点上所有为Perl模块的清单。　
PPM>search　

安装模块　
PPM>install　DBI　
自动完成DBI模块从下载到安装的全过程。　

退出　
PPM>q　

 
b. =~ （ =~ 运算符并不进行赋值，它只是取出右边的运算符，并使它对左边的变量进行操作）
c . s/searchpartten/replacement/( 替换操作 ) 如： $i=~s/<span class= "itemName" >//;
d . 特殊变量 $& ： 与上个格式匹配的字符串，
    更多请参见：http://blog.csdn.net/zll01/archive/2009/09/04/4520087.aspx
e ．文件打开写入操作
 
源代码：
 
　　#!/usr/bin/perl
#use strict;
use LWP::Simple;
use HTML::HeadParser;
use HTML::FormatText::WithLinks;
use Encode qw/encode decode/;
use XML::Generator;

my $c = get( 'http://www.nuan.gr.jp/sf/Category.do?catID=10249445' );
encode( "shift-jis" , $c);

while ( $c =~ m!<span class= "itemName[^>].*?</span>!g) {
   push @itemName,$&;
}
$_ = @itemName;
while ( $c =~ m!<span class= "price[^>].*?</span>!g) {
   push @price,$&;
}
my $name;
my $price;
foreach $i(@itemName) {
        encode( "utf-8" , $i);
        $i=~s/<span class= "itemName" >//;
        $i=~s/<\/span>//;
        $name=$i=~s/\[Women\]&nbsp;//;
        $name=$i;
}
foreach $p(@price) {
        encode( "utf-8" , $p);
        $p=~s/<span class= "price" >//;
        $p=~s/<\/span>//;
        $price=$p;
}

my ($xml,$output);
$xml = new XML::Generator ( 'conformance' => 'strict' ,
   'escape' => 'always' ,
   'pretty' => 2 );
$output=$xml->products($xml->name($name),$xml->price($price));
#encode("utf-8", $output);
#print $xml->xmldecl, $output;
open(FILE, ">c://products.xml" )||die "cannot   open   file\n " ;
print FILE  $output;
close FILE;
项目需求：
Time To Complete: 2 days
<!-- [if !supportLists]-->1.       <!-- [endif]-->建立网络爬虫，每天定时抓取页面信息，产生一个 XML 文件
<!-- [if !supportLists]-->2.       <!-- [endif]-->XML 文件包括以下内容：
- 产品名称
- 产品价格
- 产品描述
- 产品编号（ ID ）
- 产品最后更新时间
- 爬虫抓取时间
3. 建立配置文件，可以设置抓取的 URL 和抓取时间
4. 建立错误日志，记录抓取错误的具体内容（网站，产品，时间，错误原因等）
 
其他考量：
<!-- [if !supportLists]-->1.       <!-- [endif]-->对系统资源的消耗
<!-- [if !supportLists]-->2.       <!-- [endif]-->爬虫效率
<!-- [if !supportLists]-->3.       <!-- [endif]-->扩展性 （应该做成模块性，以后项目可以利用此模块）
 
 
抓取页面列表：
1 、（化妆品）
http://www.dhc.co.jp/main/main.jsp
2 、（电器）
http://www.asahi.com/shopping/electric_av/