使用Python下载妹子图网站图片
最近在学习Python的爬虫部分。看到有网友在分享使用爬虫爬取各种网站的图片的代码，也想自己写个玩玩。今天花时间分析了一下妹子图网站的结构和HTML代码，使用urllib2和BeautifulSoup写出了一个自动下载妹子图网站图片的脚本。 妹子图网址：http://www.mzitu.com运行效果如下：
源代码如下，请各位大神指教：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
# -*- coding:utf8 -*-
# Python: 2.7.8
# Platform: Windows
# Author: wucl
# Version: 1.0
# Program: 自动下载妹子图的图片并保存到本地
# History: 2015.5.31
import urllib2, os, os.path, urllib
from bs4 import BeautifulSoup
def get_pages(url):
"""
获取妹子图网站的页数
"""
html=urllib2.urlopen(url).read()
soup=BeautifulSoup(html)
nums=soup.find_all('a',class_='page-numbers')
pages=int(nums[-2].text)
return pages
def get_menu(url):
"""
获取页面的所有妹子图主题的链接名称和地址，记入列表
"""
html=urllib2.urlopen(url).read()
soup=BeautifulSoup(html)
menu=[]
menu_list=soup.find_all('a',target='_blank')
for i in menu_list:
result=i.find_all('img',class_='lazy')
if result:
name=result['alt']
address=i['href']
menu.append()
return menu
def get_links(url):
"""
获取单个妹子图主题一共具有多少张图片
"""
html=urllib2.urlopen(url).read()
soup=BeautifulSoup(html)
all_=soup.find_all('a')
nums=[]
for i in all_:
span=i.find_all('span')
if span:
nums.append(span.text)
return nums[-2]
def get_image(url,filename):
"""
从单独的页面中提取出图片保存为filename
"""
html=urllib2.urlopen(url).read()
soup=BeautifulSoup(html)
image=soup.find_all('p').find_all('img')['src']
urllib.urlretrieve(image,filename)
def main(page):
"""
下载第page页的妹子图
"""
print u'正在下载第 %d 页' % page
page_url=url+'/page/'+str(page)
menu=get_menu(page_url)
print u'第 %d 页共有 %d 个主题' %(page,len(menu))
for i in menu:
dir_name=os.path.join('MeiZiTu',i)
if not os.path.exists(dir_name):
os.mkdir(dir_name)
pic_nums=int(get_links(i))
print u'主题 %s 一共有 %d 张图片' %(i,pic_nums)
for pic in range(1,pic_nums+1):
basename=str(pic)+'.jpg'
filename=os.path.join(dir_name,basename)
pic_url=i+'/'+str(pic)
if not os.path.exists(filename):
print u'..............正在下载 %s' % basename
get_image(pic_url,filename)
else:
print filename+u'已存在，略过'
if __name__=='__main__':
url='http://www.mzitu.com/'
pages=get_pages(url)
print u'妹子图一共有 %d 页' %pages
if not os.path.exists('MeiZiTu'):
os.mkdir('MeiZiTu')
page_start=input(u'Input the first page:\n')
page_end=input(u'Input the last page:\n')
if page_end>page_start:
for page in range(page_start,page_end):
main(page)
elif page_end==page_start:
main(page_end)
else:
print u"输入错误，起始页必须小于等于结束页\n"
页:
[1]