python中urllib和urllib2小结

a13698822086

　　原文来自网络摘抄，参考网址：
　　http://6226001001.blog.51cto.com/9243584/1911472
　　主要对原文进行了缩减，方便查看，勿喷，谢谢。
　　5 主要功能
　　request处理客户端的请求
　　response处理服务端的响应
　　parse会解析url
　　下面讨论的是request
　　urllib.request模块定义了一些打开URLs（一般是HTTP协议）复杂操作像是basic 和摘要模式认证，重定向，cookies等的方法和类。这个模块式模拟文件模块实现的，将本地的文件路径改为远程的url。因此函数返回的是类文件对象（file-like object）
　　urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
　　url可以是一个字符串形式或者Request 对象
　　如果data参数有值就是用post方式响应否则默认为GET 方式
　　urllib.request 模块使用HTTP/1.1 的无连接的状态协议
　　5.2 urlopen()函数返回类文件对象，提供以下内建方法：
　　read() , readline() ,readlines() , fileno() , close() 这些方法的使用方式与文件对象完全一样
　　info()：返回一个httplib.HTTPMessage对象，表示远程服务器返回的头信息
　　getcode()：返回Http状态码。（详情参考https://tools.ietf.org/html/rfc7231#section-6）
　　如果是http请求:
　　1xx(informational):请求已经收到，正在进行中
　　2xx(successful):请求成功接收，解析，完成
　　3xx(Redirection):需要重定向
　　4xx(Client Error):客户端问题,请求存在语法错误，网址未找到
　　5xx(Server Error):服务器问题
　　geturl()：返回请求的url
　　5.3 urllib2 简介
　　1：与urllib相比，显著区别之处在于：
　　1) urllib2可以接受一个Request类的实例来设置URL请求的headers，urllib仅可以接受URL。这意味着，用urllib时不可以伪装User Agent字符串等。
　　2) urllib提供urlencode方法用来encode发送的data，而urllib2没有。这是为何urllib常和urllib2一起使用的原因。
　　2： urllib2 常用方法
　　2.1  urllib2.urlopen
　　urlopen()是最简单的请求方式，它打开url并返回类文件对象，并且使用该对象可以读取返回的内容
　　urllib2.urlopen(url[, data][, timeout])
　　参数：
　　url: 可以是包含url的字符串，也可以是urllib2.request类的实例。
　　data: 是经过编码的post数据（一般使用urllib.urlencode()来编码）。
　　没有data参数时为GET请求，设置data参数时为POST请求
　　timeout: 是可选的超时期（以秒为单位），设置请求阻塞的超时时间，如果没有设置的话，会使用全局默认timeout参数，该参数只对HTTP、HTTPS、FTP生效
　　假设urlopen()返回的文件对象u，它支持下面的这些常用的方法：
　　u.read([nbytes]) 以字节字符串形式读取nbytes个数据
　　u.readline() 以字节字符串形式读取单行文本
　　u.readlines() 读取所有输入行然后返回一个列表
　　u.close() 关闭链接
　　u.getcode() 返回整数形式的HTTP响应代码，比如成功返回200,未找到文件时返回404
　　u.geturl() 返回所返回的数据的实际url，但是会考虑发生的重定向问题
　　u.info() 返回映射对象，该对象带有与url关联的信息。
　　对HTTP来说，返回的服务器响应包含HTTP包头。
　　对于FTP来说，返回的报头包含'content-length'。
　　对于本地文件，返回的报头包含‘content-length’和'content-type'字段。
　　注意：
　　类文件对象u以二进制模式操作。如果需要以文本形式处理响应数据，则需要使用codecs模块或类似
　　方式解码数据。
　　2.2  urllib2.request
　　新建Request实例
　　Request (url [data,headers[,origin_req_host ,[unverifiable]]]])
　　说明:
　　对于比较简单的请求，urlopen()的参数url就是一个代表url的，但如果需要执行更复杂的操作，如修改HTTP报头，可以创建Request实例并将其作为url参数
　　参数:
　　url: 为url字符串，
　　data: 是伴随url提交的数据（比如要post的数据）。不过要注意，提供data参数时，它会将HTTP请求从'GET'改为‘POST’。
　　headers: 是一个字典，包含了可表示HTTP报头的键值映射（即要提交的header中包含的内容）。
　　origin_req_host: 通常是发出请求的主机的名称，如果请求的是无法验证的url（通常是指不是用户直接输入的url，比如加载图像的页面中镶入的url），则后一个参数unverifiable设为TRUE
　　假设Request实例r，其比较重要的方法有下面几个:
　　r.add_data(data) 向请求添加数据。如果请求是HTTP请求，则方法改为‘POST’。
　　data是向指定url提交的数据，要注意该方法不会将data追教导之前已经设置的任何数据上，而是使用现在的data替换之前的。
　　r.add_header(key, val) 向请求添加header信息，key是报头名，val是报头值，两个参数都是字符串。
　　r.addunredirectedheader(key,val) 作用基本同上，但不会添加到重定向请求中。
　　r.set_proxy(host, type) 准备请求到服务器。使用host替换原来的主机，使用type替换原来的请求类型。
　　2.3  异常处理
　　不能处理一个respons时，urlopen抛出一个urlerror
　　urllib2.URLError：
　　urllib2.HTTPError：
　　HTTPerror是HTTP URL在特别的情况下被抛出的URLError的一个子类。
　　urlerror：
　　通常，urlerror被抛出是因为没有网络 连接（没有至特定服务器的连接）或者特定的服务器不存在。在这种情况下，含有reason属性的异常将被抛出，以一种包含错误代码 和文本错误信息的tuple形式。