php采集（php小偷）程序设计教程

huhahapz

　　目录
　　什么是php采集程序？      
为什么要采集？   
采集些什么？   
如何采集？   
采集范例程序     
一些常用的函数
　　对一个目标网站的全面采集
　　什么是php采集程序？   
php采集程序，也叫php小偷，主要是用于自动搜集网络上web页里特定内容，用php语言写的web程序，运行于支持php的平台上。谈到“自动搜集”，你可能联想到百度goole，联想到搜索引擎所做的事情。php采集程序，正是做类似的工作。   
为什么要采集？     
   
互联网正以飞快的速度在发展，web数据每天以几何级数据量递增，面对这庞大的数据，作为一个网站管理员的你，该如何搜集自己所需要的信息呢？特别对某个或某几个同类网站，你需要它们的大量信息，来充实你的网站内容，难道就只能复制粘贴的过日子吗？一个网站管理员，你真的就得花大量时间去搞原创内容，而与整个互联网信息量的发展速度脱节吗？这些问题的解决方法只有一个：采集。如果有那么一个程序，你帮你的网站自动或半自动的采集你所需要的特定内容，即时更新你网站的信息，是否是你梦寐以求的呢？这就是采集程序出现的原因所在。   
采集些什么？     
   
这要看你做的什么类型的网站了。如果你做图片站，就采集图片；做音乐站，就采集mp3，做新闻站，就采集新闻等等。一切根据你网站的内容架构需要而定。确定你要采集的东西，才好写出相应的采集程序。
　　[本帖最后由 天涯风云 于 2007-6-3 12:41 编辑]
　　论坛模式 推荐 收藏 分享给好友 推荐到圈子 管理
　　TAG:
天涯风云 发布于2007-06-03 11:54:08如何采集？      
如何采集？      
通常采集程序，都是有的放矢的。也就是需要有目标网站，搜集一些你需要的采集内容的网站，分别对其html代码进行分析，找出规律性的东西，依据你要采集的特定内容，写出php代码。采集到你要的东西以后，你可以选择自己需要的存放方式。比如直接生成html页面，或是放进数据库，作进一步处理或是存放成特定的形式，以备后用。      
针对目标网站，我们可以采用以下方式：      
1.使用file()函数，获取目标页面文件流，转换成字符串，作进一步处理.      
一个范例函数：　　CODE:
　　//获取目标页面文件流并转换成字符串形式         
function openfile($url)         
{         
if(file($url)){         
$str = file($url);         
$count = count($str);         
for ($i=0;$i $file .= $str[$i];         
}         
return $file;         
} else { die("文件打开失败!"); }         
}         
用法举例：         
$getstr=openfile("http://86enjoy.com");         
//getsrt是一个字符串，你可对它作进一步处理。2.使用file_get_contents()函数,该函数可以直接将获取的web页面内容转换成字符串
　　CODE:
　　$getstr=file_get_contents("http://86enjoy.com");         
//getsrt就是一个字符串，你可对它作进一步处理。3.使用Microsoft.XMLHTTP组件方式。不过该组件需要windows平台支持,它是windows的一个组件，php程序以com形式调用它。        
范例程序：
　　CODE:
　　<?php <br />//Microsoft.XMLHTTP组件使用范例程序get.php         
//作者：天涯风云         
$url=$_GET['id'];         
$xmlhttp = new COM("Microsoft.XMLHTTP") or die("无法创建Microsoft.XMLHTTP组件!");         
$xmlhttp->open("GET",$url,False, "", "");         
$xmlhttp->setRequestHeader("content-Type","text/html");         
$xmlhttp->send();         
$body=$xmlhttp->responseText;         
echo $body;         
?>         
用法：get.php?id="目标页面"4.使用fsockopen()函数，获取文件流        
范例程序:
　　CODE:
　　function request_url($url,$method='POST') {         
$url = parse_url($url); //解析url地址,取得host,path,port,query等         
if (!$url) return "couldn't parse url";         
if (!isset($url['port'])) { $url['port'] = ""; }         
if (!isset($url['query'])) { $url['query'] = ""; }         
//连接服务器         
$fp = fsockopen($url['host'], $url['port'] ? $url['port'] : 80);         
if (!$fp) return "不能连接".$url['host']."服务器";         
//发送请求         
fputs($fp, sprintf("$method %s%s%s HTTP/1.0/n", $url['path'], $url['query'] ? "?" : "", $url['query']));         
fputs($fp, "Host: $url[host]/n");         
fputs($fp, "Content-type: application/x-www-form-urlencoded/n");         
fputs($fp, "Connection: close/n/n");         
//获得请求后返回的内容         
$line = fgets($fp,1024);         
if (!eregi("^HTTP/1/.. 200", $line)) return;         
$results = "";         
while(!feof($fp)) {         
$line = fgets($fp,1024);         
$results .= $line;         
}         
fclose($fp);         
return $results;         
}         
函数用法：         
$getstr=request_url("目标页面");         
//getstr是一个字符串，你可对它作进一步处理。[ 本帖最后由 天涯风云 于 2007-6-3 12:14 编辑 ]
   天涯风云 发布于2007-06-03 12:24:33采集范例程序      
采集范例程序1      
获取sina网上的某个城市的天气信息      
//sinatianqi.php　　CODE:
　　<?php <br />/* 此程序是从新浪网的天气网页http://php.weather.sina.com.cn/search.php?city=某个城市名，取得天气信息*/         
ob_start(); //启动输出缓冲         
function request_url($url,$method='POST') {         
$url = parse_url($url); //解析url地址,取得host,path,port,query等         
if (!$url) return "couldn't parse url";         
if (!isset($url['port'])) { $url['port'] = ""; }         
if (!isset($url['query'])) { $url['query'] = ""; }         
//连接服务器         
$fp = fsockopen($url['host'], $url['port'] ? $url['port'] : 80);         
if (!$fp) return "不能连接".$url['host']."服务器";         
//发送请求         
fputs($fp, sprintf("$method %s%s%s HTTP/1.0/n", $url['path'], $url['query'] ? "?" : "", $url['query']));         
fputs($fp, "Host: $url[host]/n");         
fputs($fp, "Content-type: application/x-www-form-urlencoded/n");         
fputs($fp, "Connection: close/n/n");         
//获得请求后返回的内容         
$line = fgets($fp,1024);         
if (!eregi("^HTTP/1/.. 200", $line)) return;         
$results = "";         
while(!feof($fp)) {         
$line = fgets($fp,1024);         
$results .= $line;         
}         
fclose($fp);         
return $results;         
}         
//获得从其它网页传送过来的url(带查询字串)         
if (!$_REQUEST['url']) {         
echo "请添加一个url";         
exit;         
}else{         
$url=$_REQUEST['url'];         
}         
$content=request_url($url); //取得请求后的网页内容         
$start=strpos($content,"<!-- 天气状况 begin -->");//取得天气预报的截取段         
$end=strpos($content,"<!-- 天气状况 end -->");         
$len=$end-$start;         
$b=substr($content,$start,$len); //截取得指定内容         
//从上面的截取段中取得城市今日天气预报的截取段         
$sub_start=strpos($b,"");
$sub_end=strpos($b,"");         
$len2=$sub_end-$sub_start;         
$c=substr($b,$sub_start,$len2);         
$d=split("/n",$c); //去掉换行符         
//print_r($d);         
$e="";         
foreach ($d as $key=>$value){         
$value=strip_tags($value); //去掉html标记         
$e.=$value;         
if ($key==2) {         
$e.="
";         
}         
}         
echo $e;         
ob_end_flush();         
?> 程序运行情况：        
测试        
[ 本帖最后由 天涯风云 于 2007-6-3 12:26 编辑 ]   天涯风云 发布于2007-06-03 12:29:08采集范例程序      
采集范例程序      
采集范例程序2：取得tom的天气　　CODE:
　　         
天气预报-天气查询-中国美女网
<meta http-equiv="Content-Type" content="text/html; charset=gb2312"><link>href="images/home.css" rel=stylesheet>         
<meta content="MSHTML 6.00.3790.2759" name="GENERATOR">

         

href="http://www.86mm.com.cn/" target=_blank>棣