python爬取网站美女图片

67543

今天周五，项目刚刚上线完，有些时间，闲着无聊，继续复习爬虫，这次打算爬取网站的美女图片。得先找到目标，然后目标网站还不会反爬虫，因为自己只是小白，好了开始。

寻找目标，发现了目标，哈哈 http://www.meizitu.com
里面图片按专题分类。先看下页面找出相关源码

页面

源码

即只要抓出来图片集的link跟图片集里面的link对应的jpg就可以了， 可以用beautifulsoup或者正则匹配，我这里用正则匹配需要的link。然后遍历整个网站就可以了

请看源码解释

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86

#!bin/python #-*- coding: UTF-8 -*- '''spider美女图    URL: www.meizitu.com ''' import re import string import urllib, urllib2 import os, sys import multiprocessing def getImageUrls(page):     '''获取模块下的图片link'''     image_items = {}     url_index = 'http://www.meizitu.com/a/list_1_%s.html' % page     index = r'<h3 class="tit"><a href="(.*)".*</a></h3>'#匹配图集的link     prog_pages = r'<img alt=.*src="(.*)" /><br />'#匹配图集里面的每一个图片     index_items = re.findall(index, urllib2.urlopen(url_index).read())#找出link     for index, item in enumerate(index_items):     #enumerate遍历列表，参照http://jingyan.baidu.com/article/86fae346b278673c48121a62.html         image_item = re.findall(prog_pages, urllib2.urlopen(item).read())         image_items[index] = image_item     return image_items def downloadImage(image, store_file):     urllib.urlretrieve(image, store_file, call_back) def BeginDownload(page):     pool = multiprocessing.Pool(24)     #保存目录     store_dir = r'd:\img\%s\\'  %page     image_items = getImageUrls(page)     for index in image_items:         for i, image in enumerate(image_items[index]):             if os.path.exists(store_dir):                 store_file = store_dir + str(index) + '-' + str(i) + '.jpg'                 pool.apply_async(downloadImage, (image, store_file))#下载图片             else:                 store_file = store_dir + str(index) + '-' + str(i) + '.jpg'                 os.makedirs(store_dir)                 pool.apply_async(downloadImage, (image, store_file))     pool.close()     pool.join() def call_back(a, b, c):     per = 100 * a * b / c     if per < 100:         sys.stdout.write('%.2f%%\r' % per)         sys.stdout.flush()     else:         print 'download finish!' if __name__ == '__main__':     print '''              *************************************              **       Welcome to use Spider     **              **      Created on  2016-07-15     **              *************************************           '''     page = raw_input('Pleae enter your page to download(1-88 or all): ')     if '0' < page <= '88':         BeginDownload(page)         print '爬取完成!'     elif page == 'all':         for i in range(1, 89):             BeginDownload(i)             print '第%s 页爬取完成!' % i         print '爬取完成!'     else:         print 'Error input!'         sys.exit(-1)

结果


主要是简单的urllib模块的应用，加上循环遍历出所需的url，然后就可以了，一切还在学习中。