andyyuduo 发表于 2015-4-27 06:52:56

Python下载页面图片

  今天要下载很多张图片,手动麻烦,于是写了个小程序。期间遇到不少问题。
  最主要的一个是,访问某些网页会返回403 Forbidden,后来在加入了header信息之后得到解决。记录下。
  这里用到了正则,urllib网页编程等知识。好久没用了,算是复习。
  

代码



# -*- encoding:UTF-8 -*-

import re,urllib2
def getPage(url):
    '''下载文件html代码,找出一楼的核心代码'''
    opener = urllib2.build_opener()
    #不加头信息则出现403错误和乱码
    opener.addheaders = [('User-agent', 'Mozilla/5.0')];
    htmlAll = opener.open( url ).read()
    reg1Floor = '(.*?)'
    html = re.search(reg1Floor,htmlAll)
    html = html.group()
    #文件保存编码和文件编辑编码都是utf-8,所以decode一次,不然会出现乱码,但是不影响结果。
    return html.decode('utf-8')
def getImg(url):
    '''从核心代码中照图图片地址,并且下载保存、命名'''
    regImg = ''
    dir = 'F:\\My_Document\\Desktop\\temp\\'
    pageHtml = getPage(url)
    #找到所有图片地址
    imglist = re.findall(regImg,pageHtml)
    #print imglist
    for index in xrange(1,len(imglist)+1):
      finename = dir + str(index) + '.jpg'
      urllib.urlretrieve(imglist, finename)
      print finename + ' ok!'
   
if __name__ == '__main__':
    getImg('http://topic.iyunv.com/u/20101013/11/024465A6-8E16-444C-9A09-DD374D29044C.html')
  
页: [1]
查看完整版本: Python下载页面图片