用PHP抓取页面并分析

小雨点点789

　　在做抓取前记得把php.ini中的max_execution_time设置的大点不然会报错的。
一、用Snoopy.class.php抓取页面
　　一个挺萌的类名。功能也很强大用来模拟浏览器的功能可以获取网页内容发送表单等。
　　1我现在要抓取一个网站的列表页的内容我要抓取的是全国的医院信息内容如下图
　　2我很自然的将URL地址复制下来用Snoopy类来抓取前10页的页面内容而且将内容放到本地来在本地建立html文件等下用于分析。
$snoopy=new Snoopy();//医院list页面　　
for($i = 1; $i fetch($url);   file_put_contents("web/page/$i.html", $snoopy->results);
　　
} echo 'success';
　　3很奇怪的是返回回来的不是全国的内容而是上海的相关内容
　　4后面怀疑是里面可能设置了cookie然后用firebug查看果然有惊人内幕
　　5在请求的时候将cookie的值也放进去就加了个设置语句$snoopy->cookies["_area_"]情况就大不一样了顺利返回全国信息。
$snoopy=new Snoopy();//医院list页面$snoopy->cookies["_area_"] = '{"provinceId":"all","provinceName":"全国","cityId":"all","cityName":"不限"}';for($i = 1; $i results;
　　
  }
　　2用phpQuery获取到节点信息如下图的DOM结构
　　使用一些phpQuery的方法结合DOM结构读取每个医院信息的URL地址。
for($i = 1; $i attr('href')); //医院详情
　　
    }
　　
}
　　3根据读取到的URL地址列表抓取指定的页面。
$detailIndex = 1;for($i = 1; $i results);      $detailIndex++;
　　
    }
　　
}
　　FQ工具下载
　　翻越障碍.rar
　　demo下载
　　http://download.csdn.net/detail/loneleaf1/8089507
　　Snoopy类的一些说明
　　类方法
fetch($URI)这是为了抓取网页的内容而使用的方法。　　$URI参数是被抓取网页的URL地址。
　　抓取的结果被存储在 $this->results 中。
　　如果你正在抓取的是一个框架Snoopy将会将每个框架追踪后存入数组中然后存入 $this->results。
fetchtext($URI)本方法类似于fetch()唯一不同的就是本方法会去除HTML标签和其他的无关数据只返回网页中的文字内容。fetchform($URI)本方法类似于fetch()唯一不同的就是本方法会去除HTML标签和其他的无关数据只返回网页中表单内容(form)。fetchlinks($URI)本方法类似于fetch()唯一不同的就是本方法会去除HTML标签和其他的无关数据只返回网页中链接(link)。　　默认情况下相对链接将自动补全转换成完整的URL。
submit($URI,$formvars)本方法向$URL指定的链接地址发送确认表单。$formvars是一个存储表单参数的数组。submittext($URI,$formvars)本方法类似于submit()唯一不同的就是本方法会去除HTML标签和其他的无关数据只返回登陆后网页中的文字内容。submitlinks($URI)本方法类似于submit()唯一不同的就是本方法会去除HTML标签和其他的无关数据只返回网页中链接(link)。　　默认情况下相对链接将自动补全转换成完整的URL。
　　类属性
$host连接的主机$port连接的端口$proxy_host使用的代理主机如果有的话$proxy_port使用的代理主机端口如果有的话$agent用户代理伪装 (Snoopy v0.1)$referer来路信息如果有的话$cookiescookies 如果有的话$rawheaders其他的头信息, 如果有的话$maxredirs最大重定向次数 0=不允许 (5)$offsiteokwhether or not to allow redirects off-site. (true)$expandlinks是否将链接都补全为完整地址 (true)$user认证用户名, 如果有的话$pass认证用户名, 如果有的话$accepthttp 接受类型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)$error哪里报错, 如果有的话$response_code从服务器返回的响应代码$headers从服务器返回的头信息$maxlength最长返回数据长度$read_timeout读取操作超时 (requires PHP 4 Beta 4+)设置为0为没有超时$timed_out如果一次读取操作超时了本属性返回 true (requires PHP 4 Beta 4+)$maxframes允许追踪的框架最大数量$status抓取的http的状态$temp_dir网页服务器能够写入的临时文件目录 (/tmp)$curl_pathcURL binary 的目录, 如果没有cURL binary就设置为 false