[python]-urllib和urllib2模块

CHSHJ

　　urllib 和urllib2都是接受URL请求的相关模块，但是提供了不同的功能。
　　urllib提供urlencode方法用来GET查询字符串的产生，而urllib2没有。
　　urllib：
　　网页基础：
　　

• import urllib
  
• #打开51cto
  
• cto = urllib.urlopen('http://www.51cto.com')
  
• #打开本地文件：cto = urllib.urlopen(url='file:/root/python/ulib')
  
• #打开ftp：cto = = urllib.urlopen(url='ftp://用户名:密码@ftp地址/')
  
• #读取51cto首页的代码
  
• print cto.read()
  
• #获取远程服务器返回的头信息，跟curl -I www,51cto.com差不多
  
• print cto.info()
  
• #返回http状态码，200表示成功，404表示网址未找到
  
• print cto.getcode()
  
• #返回请求的URL
  
• print cto.geturl()
  
• #运行结果
  
• [root@localhost python]#python ctourl
  
• 。。。。。。。省略cto.read()函数，输出太多啦。。。。。
  
• Server: Tengine  #cto.info()返回信息
  
• Date: Wed, 27 Feb 2013 15:05:46 GMT
  
• Content-Type: text/html
  
• Connection: close
  
• Vary: Accept-Encoding
  
• Load-Balancing: web48
  
• 
  
• 200              #cto.getcode()返回信息
  
• http://www.51cto.com   #cto.geturl()返回信息
  
• #urlopen返回的是一个类文件对象，而这个对象的使用方法和文件对象的
  
• #使用方法完全一样。
  

　　

　　字符的编码和解码：
　　

• import urllib,os
  
• #对字符串进行编码
  
• stra = urllib.quote('this is python')
  
• print stra
  
• #对字符串进行解码
  
• print urllib.unquote(stra)
  
• #这个方法用‘+’代替了%20 和urllib.quote类似，
  
• strb = urllib.quote_plus('this is python')
  
• print strb
  
• #解码
  
• print urllib.unquote_plus(strb)
  
• 
  
• dicta = {'name':'zeping','passwd':'123456'}
  
• #urlencode将字典转换成url参数
  
• print urllib.urlencode(dicta)
  
• 
  
• #将本地路径转换成url路径
  
• filename = urllib.pathname2url('/python/test.py')
  
• print filename
  
• #将url路径转换成本地路径
  
• print urllib.url2pathname(filename)
  
• 
  
• ##########运行结果##########
  
• [root@localhost python]# python quote
  
• this%20is%20python
  
• this is python
  
• this+is+python
  
• this is python
  
• passwd=123456&name=zeping
  
• /python/test.py
  
• /python/test.py
  

　　

　　urllib.urlretrieve():下载
　　

• import urllib
  
• def Schedule(a,b,c):
  
•     '''''
  
•     a:已经下载的数据块
  
•     b:数据块的大小
  
•     c:远程文件的大小
  
•    '''
  
•     per = 100.0 * a * b / c
  
•     if per > 100 :
  
•         per = 100
  
•     print '%.2f%%' % per
  
• 
  
• #这里以下载缓存插件为例
  
• url = 'http://fastlnmp.googlecode.com/files/eaccelerator-0.9.6.tar.bz2'
  
• #获取文件名，这里是下载到当前目录下，若果要下载到别的目录必
  
• #须输入绝对路径和文件名字：/root/tools/eaccelerator-0.9.6.tar.bz2
  
• local = url.split('/')[-1]
  
• urllib.urlretrieve(url,local,Schedule)
  
• #########运行结果##########
  
• [root@localhost urllib]# python down
  
• 0.00%
  
• 7.74%
  
• 15.48%
  
• 23.22%
  
• 30.96%
  
• 38.70%
  
• 46.44%
  
• 54.18%
  
• 61.92%
  
• 69.66%
  
• 77.40%
  
• 85.15%
  
• 92.89%
  
• 100.00%
  
• [root@localhost urllib]# ls
  
• down  eaccelerator-0.9.6.tar.bz2  ulib2
  

　　

　　urllib2：
　　urllib2可以接受一个Request类的实例来设置URL请求的headers，urllib仅可以接受URL。