|
|
下面继续学习python的web模块 --- urllib2，一个源于urllib又高于urllib的模块。
1 urllib2 简介
urllib2是python自带的一个访问网页及本地文件的库。
与urllib相比，显著区别之处在于：
1) urllib2可以接受一个Request类的实例来设置URL请求的headers，urllib仅可以接受URL。这意味着，用urllib时不可以伪装User Agent字符串等。
2) urllib提供urlencode方法用来encode发送的data，而urllib2没有。这是为何urllib常和urllib2一起使用的原因。
2 urllib2 常用方法
2.1 urllib2.urlopen
urlopen()是最简单的请求方式，它打开url并返回类文件对象，并且使用该对象可以读取返回的内容
urllib2.urlopen(url[, data][, timeout])
参数：
url: 可以是包含url的字符串，也可以是urllib2.request类的实例。
data: 是经过编码的post数据（一般使用urllib.urlencode()来编码）。
没有data参数时为GET请求，设置data参数时为POST请求
timeout: 是可选的超时期（以秒为单位），设置请求阻塞的超时时间，如果没有设置的话，会使用全局默认timeout参数，该参数只对HTTP、HTTPS、FTP生效
假设urlopen()返回的文件对象u，它支持下面的这些常用的方法：
- u.read([nbytes]) 以字节字符串形式读取nbytes个数据
- u.readline() 以字节字符串形式读取单行文本
- u.readlines() 读取所有输入行然后返回一个列表
- u.close() 关闭链接
- u.getcode() 返回整数形式的HTTP响应代码，比如成功返回200,未找到文件时返回404
- u.geturl() 返回所返回的数据的实际url，但是会考虑发生的重定向问题
- u.info() 返回映射对象，该对象带有与url关联的信息，对HTTP来说，返回的服务器响应包含HTTP包头。对于FTP来说，返回的报头包含'content-length'。对于本地文件，返回的报头包含‘content-length’和'content-type'字段。
注意：
类文件对象u以二进制模式操作。如果需要以文本形式处理响应数据，则需要使用codecs模块或类似方式解码数据。
附代码：
>>> import urllib2
>>> res=urllib2.urlopen('http://www.51cto.com')
>>>res.read()
。。。。。。（一堆源代码）
>>>res.readline()
'<!DOCTYPE html PUBLIC "-//W3C//DTDXHTML 1.0 Transitional//EN""http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">\r\n'
>>>res.readlines()
。。。（list形式的一堆源码）
>>>res.info()
<httplib.HTTPMessage instance at0x1a02638>
>>>res.getcode()
200
>>>res.geturl()
'http://www.51cto.com'
#最后关闭连接
>>> res.close()
2.2 urllib2.request
新建Request实例
Request (url [data,headers[,origin_req_host ,[unverifiable]]]])
说明:
对于比较简单的请求，urlopen()的参数url就是一个代表url的，但如果需要执行更复杂的操作，如修改HTTP报头，可以创建Request实例并将其作为url参数
参数:
url: 为url字符串，
data: 是伴随url提交的数据（比如要post的数据）。不过要注意，提供data参数时，它会将HTTP请求从'GET'改为‘POST’。
headers: 是一个字典，包含了可表示HTTP报头的键值映射（即要提交的header中包含的内容）。
origin_req_host: 通常是发出请求的主机的名称，如果请求的是无法验证的url（通常是指不是用户直接输入的url，比如加载图像的页面中镶入的url），则后一个参数unverifiable设为TRUE
假设Request实例r，其比较重要的方法有下面几个:
- r.add_data(data) 向请求添加数据。如果请求是HTTP请求，则方法改为‘POST’。data是向指定url提交的数据，要注意该方法不会将data追教导之前已经设置的任何数据上，而是使用现在的data替换之前的。
- r.add_header(key, val) 向请求添加header信息，key是报头名，val是报头值，两个参数都是字符串。
- r.addunredirectedheader(key,val) 作用基本同上，但不会添加到重定向请求中。
- r.set_proxy(host, type) 准备请求到服务器。使用host替换原来的主机，使用type替换原来的请求类型。
附代码：
1 向网页提交数据:
>>> import urllib
>>> import urllib2
>>> url='http://www.51cto.com'
>>> info={'name':"51cto",'location':'51cto'}
#info需要被编码为urllib2能理解的格式，这里用到的是urllib
>>> data=urllib.urlencode(info)
>>> data
'name=51cto&location=51cto'
>>> request=urllib2.Request(url,data)
>>> response=urllib2.urlopen(request)
>>> the_page=response.read()
2 修改网页头信息:
有时会碰到，程序也对，但是服务器拒绝你的访问。这是为什么呢?问题出在请求中的头信息(header)。 有的服务端有洁癖，不喜欢程序来触摸它。这个时候你需要将你的程序伪装成浏览器来发出请求。请求的方式就包含在header中。
在使用 REST 接口时，Server 会检查Content-Type字段，用来确定 HTTP Body 中的内容该怎样解析。
>>> import urllib
>>> import urllib2
>>> url='http://www.51cto.com'
# 将user_agent写入头信息
>>> user_agent='Mozilla/4.0 (compatible; MSIE 5.5; WindowsNT)'
>>>values={'name':'51cto','location':"51cto",'language':'Python'}
>>> headers={'User-Agent':user_agent}
>>> data=urllib.urlencode(values)
>>> req=urllib2.Request(url,data,headers)
>>> response=urllib2.urlopen(req)
>>> the_page=response.read()
2.3 异常处理
不能处理一个respons时，urlopen抛出一个urlerror
urllib2.URLError：
urllib2.HTTPError：
HTTPerror是HTTP URL在特别的情况下被抛出的URLError的一个子类。
urlerror：
通常，urlerror被抛出是因为没有网络 连接（没有至特定服务器的连接）或者特定的服务器不存在。在这种情况下，含有reason属性的异常将被抛出，以一种包含错误代码 和文本错误信息的tuple形式。
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import urllib2
#多写了一个 m （comm）
req = urllib2.Request('http://www.51cto.comm')
try:
urllib2.urlopen(req)
except urllib2.URLError,e:
print e
print e.reason
结果：
<urlopen error [Errno 11004] getaddrinfo failed>
[Errno 11004] getaddrinfo failed
以上是 urllib2的简单用法，如果要深入：
http://www.cnblogs.com/yuxc/archive/2011/08/01/2123995.html
urllib和urllib2之间的区别：
http://www.cnblogs.com/yuxc/archive/2011/08/01/2124073.html |
|
|
QQ群⑧：
窥视卡
雷达卡
发表于 2018-8-5 12:25:56
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡