关于python的多线程问题

美奇科技

在网上看到了好多关于python的thread的问题，关于多线程的爬虫，我发现网上一些论坛的代码实际上是单线程的，而我也是刚刚开始搞多线程，这是我的理解，请各位高手多多指教，前面是论坛代码，后面是我自己写的代码，新手，还请指点一下，一起进步~

论坛代码(自己研究了一下，大体是这样)：

#encoding:UTF-8
importthreading
importurllib,urllib2
importQueue
importbs4
frombs4importBeautifulSoup
importtime

hosts=['http://www.baidu.com','http://www.weibo.com','http://www.renren.com']
queue=Queue.Queue(0);
out_queue=Queue.Queue(0)

classContentThread(threading.Thread):
def__init__(self,queue,out_queue):
threading.Thread.__init__(self)
self.queue=queue
self.out_queue=out_queue
defrun(self):
whileTrue:
host=self.queue.get()
url=urllib.urlopen(host)
chunk=url.read()
self.out_queue.put(chunk)
self.queue.task_done()

classmatch(threading.Thread):
def__init__(self,out_queue):
threading.Thread.__init__(self)
self.out_queue=out_queue
defrun(self):
whileTrue:
chunk=self.out_queue.get()
soup=BeautifulSoup(chunk)
printsoup.findAll(['title'])
printself.name
self.out_queue.task_done()
start=time.time()
defmain():
t=ContentThread(queue,out_queue)
t.setDaemon(True)
t.start()
foriinhosts:
queue.put(i)
dt=match(out_queue)
dt.setDaemon(True)
dt.start()
queue.join()
out_queue.join()

if__name__=='__main__':
main()
print'爬虫耗时:%s秒'%(time.time()-start)

这个代码在task_done()之后加上time.sleep(10)会有明显的堵塞情况。输出threadname也是显示相同的线程名字。
这是是我写的多线程爬虫:

#encoding:UTF-8
importthreading
importurllib,urllib2
importQueue
importbs4
frombs4importBeautifulSoup
importtime

queue=Queue.Queue(0)
hosts=['http://www.baidu.com','http://www.weibo.com','http://www.renren.com']
classMyThread(threading.Thread):
def__init__(self):
threading.Thread.__init__(self)
self.queue=queue
#self.out_queue=out_queue
defrun(self):
globalqueue
host=self.queue.get()
printself.name
url=urllib.urlopen(host)
chunk=url.read()
soup=BeautifulSoup(chunk)
printsoup.findAll(['title'])
print'爬虫耗时:%s秒'%(time.time()-start)
#printhost
#printqueue.qsize()

start=time.time()
defhost():
foriinhosts:
t=MyThread()
t.start()
msg=str(i)
globalqueue
queue.put(str(i))
printmsg
#print"ElapsedTime:%s"%(time.time()-start)
if__name__=='__main__':
host()

这个在输出时间之后再sleep不会出现堵塞情况，输出threadname也是显示不同的线程名字