使用Python下载妹子图网站图片

ewsd12

最近在学习Python的爬虫部分。看到有网友在分享使用爬虫爬取各种网站的图片的代码，也想自己写个玩玩。今天花时间分析了一下妹子图网站的结构和HTML代码，使用urllib2和BeautifulSoup写出了一个自动下载妹子图网站图片的脚本。        妹子图网址：http://www.mzitu.com

        运行效果如下：


        源代码如下，请各位大神指教：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100

# -*- coding:utf8 -*- # Python:         2.7.8 # Platform:       Windows # Author:         wucl # Version:        1.0 # Program:        自动下载妹子图的图片并保存到本地 # History:        2015.5.31 import urllib2, os, os.path, urllib from bs4 import BeautifulSoup def get_pages(url):     """     获取妹子图网站的页数     """        html=urllib2.urlopen(url).read()     soup=BeautifulSoup(html)     nums=soup.find_all('a',class_='page-numbers')     pages=int(nums[-2].text)     return pages       def get_menu(url):     """     获取页面的所有妹子图主题的链接名称和地址，记入列表     """     html=urllib2.urlopen(url).read()     soup=BeautifulSoup(html)     menu=[]     menu_list=soup.find_all('a',target='_blank')     for i in menu_list:         result=i.find_all('img',class_='lazy')         if result:             name=result[0]['alt']             address=i['href']             menu.append([name,address])     return menu def get_links(url):     """     获取单个妹子图主题一共具有多少张图片     """     html=urllib2.urlopen(url).read()     soup=BeautifulSoup(html)     all_=soup.find_all('a')     nums=[]     for i in all_:         span=i.find_all('span')         if span:             nums.append(span[0].text)     return nums[-2]              def get_image(url,filename):     """     从单独的页面中提取出图片保存为filename     """     html=urllib2.urlopen(url).read()     soup=BeautifulSoup(html)     image=soup.find_all('p')[0].find_all('img')[0]['src']     urllib.urlretrieve(image,filename) def main(page):     """     下载第page页的妹子图     """     print u'正在下载第 %d 页' % page     page_url=url+'/page/'+str(page)     menu=get_menu(page_url)     print u'第 %d 页共有 %d 个主题' %(page,len(menu))     for i in menu:         dir_name=os.path.join('MeiZiTu',i[0])         if not os.path.exists(dir_name):             os.mkdir(dir_name)         pic_nums=int(get_links(i[1]))         print u'主题 %s 一共有 %d 张图片' %(i[0],pic_nums)         for pic in range(1,pic_nums+1):             basename=str(pic)+'.jpg'             filename=os.path.join(dir_name,basename)             pic_url=i[1]+'/'+str(pic)             if not os.path.exists(filename):                 print u'..............正在下载 %s' % basename                 get_image(pic_url,filename)             else:                 print filename+u'已存在，略过'       if __name__=='__main__':     url='http://www.mzitu.com/'     pages=get_pages(url)     print u'妹子图一共有 %d 页' %pages     if not os.path.exists('MeiZiTu'):         os.mkdir('MeiZiTu')     page_start=input(u'Input the first page:\n')     page_end=input(u'Input the last page:\n')     if page_end>page_start:         for page in range(page_start,page_end):             main(page)     elif page_end==page_start:         main(page_end)     else:         print u"输入错误，起始页必须小于等于结束页\n"