python 线程池学习

devil20

　　#!/usr/bin/python
　　import Queue, threading, sys
　　from threading import Thread
　　import time,urllib
　　class Worker(Thread):
　　worker_count = 0
　　def __init__( self, workQueue, resultQueue, timeout = 0, **kwds):
　　Thread.__init__( self, **kwds )
　　self.id = Worker.worker_count
　　Worker.worker_count += 1
　　self.setDaemon( True )
　　self.workQueue = workQueue
　　self.resultQueue = resultQueue
　　self.timeout = timeout
　　self.start( )
　　def run( self ):
　　''' the get-some-work, do-some-work main loop of worker threads '''
　　while True:
　　try:
　　callable, args, kwds = self.workQueue.get(timeout=self.timeout)
　　res = callable(*args, **kwds)
　　print "worker[%2d]: %s" % (self.id, str(res) )
　　self.resultQueue.put( res )
　　except Queue.Empty:
　　break
　　except :
　　print 'worker[%2d]' % self.id, sys.exc_info()[:2]
　　class WorkerManager:
　　def __init__( self, num_of_workers=10, timeout = 1):
　　self.workQueue = Queue.Queue()
　　self.resultQueue = Queue.Queue()
　　self.workers = []
　　self.timeout = timeout
　　self._recruitThreads( num_of_workers )
　　def _recruitThreads( self, num_of_workers ):
　　for i in range( num_of_workers ):
　　worker = Worker( self.workQueue, self.resultQueue, self.timeout )
　　self.workers.append(worker)
　　def wait_for_complete( self):
　　# ...then, wait for each of them to terminate:
　　while len(self.workers):
　　worker = self.workers.pop()
　　worker.join( )
　　if worker.isAlive() and not self.workQueue.empty():
　　self.workers.append( worker )
　　print "All jobs are are completed."
　　def add_job( self, callable, *args, **kwds ):
　　self.workQueue.put( (callable, args, kwds) )
　　def get_result( self, *args, **kwds ):
　　return self.resultQueue.get( *args, **kwds )
　　if __name__ == '__main__':
　　def test_job(id, sleep = 0.001 ):
　　try:
　　a=urllib.urlopen('http://www.baidu.com/').read()
　　except:

　　print '[%4d]' %>
　　return>　　import socket
　　socket.setdefaulttimeout(10)
　　print 'start testing'
　　wm = WorkerManager(2)
　　for i in range(2):
　　wm.add_job( test_job, i, i*0.001 )
　　print wm.get_result( i, i*0.001 )
　　wm.wait_for_complete()
　　print 'end testing'
　　个人理解
　　1.首先实例化WorkerManager(2),在实例化WorkerManager类的时候，首先创建2个队列一个为执行队列，一个为结果队列
　　2.执行_recruitThreads，循环2次，在这函数中实例化Worker类，并把刚才创建的2个队列传过去，并且往workers这个列表里插入元祖，workers这个列表使用来判断是否队列中的任务都执行完成的
　　Worker类继承了Thread,初始化一下Thread,调用Thread模块中的start方法，其中start方法中有run这个方法，这里面重写了run方法，self.start( )也就是执行Worker类中的run方法
　　3.因为下面在执行任务的时候准备往队列里掺入的数据为wm.add_job( test_job, i, i*0.001 )这个格式---所以去get任务执行队列，看看队列是不是空，如果不是空执行res = callable(*args, **kwds)，并且把数据写入到结果队列中，但是由于第一次初始化，队列中还没有任务会卡在这
　　4.执行wm.add_job( test_job, i, i*0.001 )，把2个任务放到刚才创建好的队列中，这2个任务是多线程执行的
　　5.wm.wait_for_complete()第一步先从列表中逐一删除数据，删除完后等待这个线程是否退出，这里注意join和isalive的区别，join不管是线程执行超时还是正常退出返回值都是none，而isalive是看线程是否还存活，如果线程还存活，并且任务队列不为空，还是要把之前从列表中删除的元祖添加回去，因为线程还没有执行完成，知道判断workers这个列表中没有数据了 整个程序才会推出
　　不过上面程序在判断线程是不是都执行完了的逻辑，我觉得有写问题
　　如果多个任务怎么办，如果想10个线程执行test1函数，10个任务执行test2函数怎么办，知道怎么了也就差不多明白怎么回事了