python多线程下载图片

fox111

功能：从image.baidu.com自动翻页下载图片的python程序　　用法：运行程序后，输入关键字即可
　　#!/usr/bin/python
　　# filename: getbaidupic.py
　　# description: get images from image.baidu.com
　　# author: cjcse
　　# version: v 0.21
　　import urllib
　　import htmllib
　　import formatter
　　import string
　　import os
　　import sys
　　import time
　　import thread
　　#import threading
　　class Parser(htmllib.HTMLParser):
　　#return a dictionary mapping anchor texts to lists of associated hyperlinks
　　def __init__(self, verbose=0):
　　self.anchors = {}
　　f = formatter.NullFormatter()
　　htmllib.HTMLParser.__init__(self, f, verbose)
　　def anchor_bgn(self, href, name, type):
　　self.save_bgn()
　　self.anchor = href
　　def anchor_end(self):
　　text = string.strip(self.save_end())
　　if self.anchor and text:
　　self.anchors[text] = self.anchors.get(text, []) + [self.anchor]
　　def GetJpg(url):
　　try:
　　global save
　　global total
　　global successed
　　global failed
　　total += 1
　　seps = url.split("/")
　　size = len(seps)
　　name = seps[size-1]
　　name = save + "\\" + name
　　i = 1
　　list = name.split(".")
　　while os.path.exists(name):
　　if len(list) == 2:
　　name = list[0] + "_" + repr(i) + "." + list[1]
　　else:
　　name = list[0] + "_" + repr(i)
　　i += 1
　　dat = urllib.urlopen(url).read()
　　if len(dat) < 11024:
　　print url + &quot;\t[Failed]&quot;
　　return
　　op = open(name, &quot;wb&quot;)
　　if not op:
　　print url + &quot;\t[Failed]&quot;
　　exit()
　　op.write(dat)
　　op.close()
　　print url + &quot;\t[OK]&quot;
　　except:
　　print url + &quot;\t[Failed]&quot;
　　def GetBaiduNextPage(url):
　　global pn
　　url += &quot;&rn=&quot; + repr(rn) + &quot;&pn=&quot; + repr(pn) + &quot;&ln=&quot; + repr(ln)
　　pn += 18
　　return url
　　def GetAllJpg(url):
　　html = urllib.urlopen(url).read()
　　p = Parser()
　　p.feed(html)
　　p.close()
　　cnt = 0
　　for k, v in p.anchors.items():
　　for uri in v:
　　if uri.find(&quot;.jpg&quot;) != -1:
　　ls = uri.split(&quot;&&quot;)
　　for st in ls:
　　url2 = st.split(&quot;=&quot;)
　　for st2 in url2:
　　st2 = string.lower(st2)
　　if string.find(st2, &quot;http://&quot;) != -1 and string.find(st2, &quot;.jpg&quot;) != -1:
　　try:
　　GetJpg(st2)
　　except:
　　continue
　　print &quot;---------------------------------------------------------------------&quot;
　　print &quot;Description: Get images from image.baidu.com. &quot;
　　print &quot;Author: cjcse from CU.&quot;
　　print &quot;version: v 0.2.&quot;
　　print &quot;---------------------------------------------------------------------&quot;
　　str = raw_input(&quot;Input your keywords: &quot;)
　　while (len(str) == 0):
　　str = raw_input(&quot;Keyword: &quot;)
　　url = &quot;http://image.baidu.com/i?ct=201326592&cl=2&lm=-1&tn=baiduimage&pv=&word=&quot; + str + &quot;&z=5&quot;
　　try:
　　if not os.path.exists(&quot;c:\\image_baidu&quot;):
　　os.mkdir(&quot;c:\\image_baidu&quot;)
　　except:
　　print &quot;Failed to create directory in disk c:&quot;
　　exit()
　　pages = 50
　　save = &quot;c:\\image_baidu&quot;
　　print &quot;The images will be stored in folder \&quot;c:\\image_baidu\&quot;.&quot;
　　rn = 21
　　pn = 18
　　ln = 2000
　　for i in range(0, pages):
　　thread.start_new_thread(GetAllJpg,(url,))
　　url = GetBaiduNextPage(url)
　　while True:
　　pass