05-访问超时设置 | 01.数据抓取 | Python

珀耳塞福建

05-访问超时设置
　　郑昀 201005  隶属于《01.数据抓取》小节
　　设置 HTTP 或 Socket 访问超时，来防止爬虫抓取某个页面时间过长。
　　
　　pycurl 库的调用中，可以设置超时时间：
　　c.setopt(pycurl.CONNECTTIMEOUT, 60)
　　
　　在 Python 2.6 版本下，httplib 库由于有如下构造函数：
　　class HTTPConnection:
　　def __init__(self, host, port=None, strict=None,
              timeout=socket._GLOBAL_DEFAULT_TIMEOUT):
         self.timeout = timeout
　　所以可以设置：
>>> h3 = httplib.HTTPConnection('www.cwi.nl', 80, timeout=10) 参见文档 #2452: timeout is used for all blocking operations ：　　如果通过 HTTPConnection 或 HTTPSConnection  的构造函数给定超时时间，那么阻塞操作（如试图建立连接）将会超时。如果没有给或者赋值 None ，那么它将使用全局的超时时间设置。
　　Python 2.5 下，因为 HTTPConnection 类的 __init__ 函数没有 timeout 参数，所以通过一个隐藏很深的函数：
　　httplib.socket.setdefaulttimeout(3)#输入参数单位貌似是分钟
　　来设置超时。
　　
设置全局超时
　　最后，抓取时如果实在找不到什么函数能设置超时时间，那么可以设置全局的 socket 超时，虽然这样做不大合适：
　　>>> import socket
>>> socket.setdefaulttimeout(90)
setdefaulttimeout() was a hack to allow to set the timeout when nothing else is available. 如何捕获超时异常？
举例：　　from urllib2 import urlopen
import socket
　　slowurl =”http://www.wenxuecity.com/”
　　socket.setdefaulttimeout(1)
　　try:
    data = urlopen(slowurl)
    data.read()
except  socket.error:
    errno, errstr = sys.exc_info()[:2]
    if  errno == socket.timeout:
        print "There was a  timeout"
    else:
        print "There was some other socket error"
　　
　　
　　参考资源：
　　1、 No way to disable  socket timeouts in httplib, etc.
　　2、How to catch socket timeout?