php 抓取网站图片的简单程序

dew

PHP下载CSS文件中的图片
<?
function getImagesFromCssFile() {
//note 设置PHP超时时间
set_time_limit(0);
//note 取得样式文件内容
$styleFileContent = file_get_contents('images/style.css');
//note 匹配出需要下载的URL地址
preg_match_all("/url\(.+?\)/", $styleFileContent, $imagesURLArray);
//note 循环需要下载的地址，逐个下载
$imagesURLArray = array_unique($imagesURLArray[0]);
foreach ($imagesURLArray as $imagesURL) {
$imagesURL = str_ireplace(array("url(", ")", "'",'"'), '', $imagesURL);  //url(" ") url('')
if (preg_match('/^http.*/', $imagesURL)) {   //跳过网络图片
continue;
}
file_put_contents(basename($imagesURL), file_get_contents($imagesURL));
}
}

<?php
/*完成网页内容捕获功能*/
function get_img_url($site_name) {
$site_fd = fopen($site_name, "r");
$site_content = "";
while (!feof($site_fd)) {
$site_content .= fread($site_fd, 1024);
}
/*利用正则表达式得到图片链接*/
$reg_tag = '/<img.*?\"([^\"]*(jpg|bmp|jpeg|gif)).*?>/';
$ret = preg_match_all($reg_tag, $site_content, $match_result);
fclose($site_fd);
return $match_result[1];
}
/* 对图片链接进行修正 */
function revise_site($site_list, $base_site) {
foreach ($site_list as $site_item) {
if (preg_match('/^http/', $site_item)) {
$return_list[] = $site_item;
} else {
$return_list[] = $base_site . "/" . $site_item;
}
}
return $return_list;
}
/*得到图片名字，并将其保存在指定位置*/
function get_pic_file($pic_url_array, $pos) {
$reg_tag = '/.*\/(.*?)$/';
$count = 0;
foreach ($pic_url_array as $pic_item) {
$ret = preg_match_all($reg_tag, $pic_item, $t_pic_name);
$pic_name = $pos . $t_pic_name[1][0];
$pic_url = $pic_item;
print("Downloading " . $pic_url . "\n");
$img_read_fd = fopen($pic_url, "r");
$img_write_fd = fopen($pic_name, "w");
$img_content = "";
while (!feof($img_read_fd)) {
$img_content .= fread($img_read_fd, 1024);
}
fwrite($img_write_fd, $img_content);
fclose($img_read_fd);
fclose($img_write_fd);
print("[OK]\n");
}
return 0;
}
function main() {
/* 待抓取图片的网页地址 */
$site_name = "http://image.cn.yahoo.com";
$img_url = get_img_url($site_name);
$img_url_revised = revise_site($img_url, $site_name);
$img_url_unique = array_unique($img_url_revised); //unique array
get_pic_file($img_url_unique, "./");
}
main();
?>
　　此程序略有不足，如果图片在网站服务器上不同目次下但文件名是相同的，此时图片有可能是不一样的，但在最后生存时，后面得到的图片会将前边已生存的图片覆 盖掉，如在http://example.com/网站上有图片链接http://example.com/pic/test1.jpg和http: //example.com/pic/new/test1.jpg那么在下载时这两张图片只有一张生存，另外一张就被覆盖掉，修正的方法是在每派生的存前 先检索当前目次下是否已有此文件名，有的话对将派生的存的图片从头命名即可。

<?php
//取得页面所有的图片地址
function getimages($str){
$match_str = "/((http://)+([^ rn()^$!`"'|[]{}<>]*)((.gif)|(.jpg)|(.bmp)|(.png)|(.GIF)|(.JPG)|(.PNG)|(.BMP)))/";
preg_match_all ($match_str,$str,$out,PREG_PATTERN_ORDER);
return $out;
}?>