python爬取网站美女图片

67543 · 发表于 2016-7-18 11:22:50

今天周五，项目刚刚上线完，有些时间，闲着无聊，继续复习爬虫，这次打算爬取网站的美女图片。得先找到目标，然后目标网站还不会反爬虫，因为自己只是小白，好了开始。

寻找目标，发现了目标，哈哈 http://www.meizitu.com
里面图片按专题分类。先看下页面找出相关源码

页面
QQ截图20160718112212.png

源码

即只要抓出来图片集的link跟图片集里面的link对应的jpg就可以了，可以用beautifulsoup或者正则匹配，我这里用正则匹配需要的link。然后遍历整个网站就可以了

请看源码解释

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86

#!bin/python
#-*- coding: UTF-8 -*-

'''spider美女图
URL: www.meizitu.com
'''

import re
import string
import urllib, urllib2
import os, sys
import multiprocessing

def getImageUrls(page):
'''获取模块下的图片link'''
image_items = {}

url_index = 'http://www.meizitu.com/a/list_1_%s.html' % page

index = r'<h3 class="tit"><a href="(.*)".*</a></h3>'#匹配图集的link
prog_pages = r'<img alt=.*src="(.*)" /><br />'#匹配图集里面的每一个图片

index_items = re.findall(index, urllib2.urlopen(url_index).read())#找出link

for index, item in enumerate(index_items):
#enumerate遍历列表，参照http://jingyan.baidu.com/article/86fae346b278673c48121a62.html
      image_item = re.findall(prog_pages, urllib2.urlopen(item).read())
      image_items[index] = image_item

return image_items

def downloadImage(image, store_file):
urllib.urlretrieve(image, store_file, call_back)

def BeginDownload(page):

pool = multiprocessing.Pool(24)
#保存目录
store_dir = r'd:\img\%s\\'  %page

image_items = getImageUrls(page)
for index in image_items:
      for i, image in enumerate(image_items[index]):
         if os.path.exists(store_dir):
            store_file = store_dir + str(index) + '-' + str(i) + '.jpg'
            pool.apply_async(downloadImage, (image, store_file))#下载图片
         else:
            store_file = store_dir + str(index) + '-' + str(i) + '.jpg'
            os.makedirs(store_dir)
            pool.apply_async(downloadImage, (image, store_file))
pool.close()
pool.join()

def call_back(a, b, c):
per = 100 * a * b / c
if per < 100:
      sys.stdout.write('%.2f%%\r' % per)
      sys.stdout.flush()
else:
      print 'download finish!'

if __name__ == '__main__':

print '''
         *************************************
         **    Welcome to use Spider    **
         **    Created on  2016-07-15    **
         *************************************
      '''

page = raw_input('Pleae enter your page to download(1-88 or all): ')
if '0' < page <= '88':
      BeginDownload(page)
      print '爬取完成!'
elif page == 'all':
      for i in range(1, 89):
         BeginDownload(i)
         print '第%s 页爬取完成!' % i
      print '爬取完成!'
else:
      print 'Error input!'
      sys.exit(-1)

结果