Python学习 － 使用BeautifulSoup来解析网页一：基础入门

-★出爺;3

　　写技术博客主要就是总结和交流的，如果文章用错，请指正啊！
　　以前一直在使用SGMLParser，这个太费时间和精力了，现在为了毕业设计，改用BeautifulSoup来实现HTML页面的解析工作的。

一、字符的编码和解码
　　和网页打交道，首先解决的就是web页面的编码方式，不幸的是不同网站的页面编码方式基本不相同，有的是gb2312，有的是utf-8，有的是gbk，下面是我查看我以后需要的网站源码后得出的web页面的编码方式：



di = { 'gb2312':['http://www.sina.com.cn','http://www.people.com.cn/','http://www.people.com.cn/'
,'http://www.163.com/','http://www.qq.com/'],
'gbk':['http://www.sohu.com'],
'utf-8':['http://www.huanqiu.com/','http://www.xinhuanet.com/']
}

　　这个python字典，我会一直手动更新的。为什么需要手动更新呢？因为我不会动态的检测web页面的编码方式，虽然说HTTP的Header中有content的编码方式，即Content-Type这一项，但是上面的网站基本上都没有在Content-Type中表明编码方式，FQ看了一下谷歌，youtube和facebook，在Content-Type里面都表明了编码方式，一般都为utf-8。
　　知道了编码方式，就要解码了，因为BeautifulSoup先将html页面全部转码为unicode的，所以在将html页面传入BeautifulSoup中的时候，先解码,如果html的字符编码为gb2312：



response = urllib2.urlopen(url).read().decode('gb2312','ignore')
bs = BeautifulSoup(response)
　　如果你想将unicode字符编码为特定的编码方式：　　



response = urllib2.urlopen(url).read().decode('gb2312','ignore').encode('utf-8')

　　因为业务场景不一样，我只需要抓取部分网站的页面，所以我手动查看了上面几个网站的编码方式。当然有其它的方法了，见我在stackoverflow上的提问：http://stackoverflow.com/questions/28184863/how-to-decode-and-encode-web-page-with-python 。

二、解压
　　很多网站为了减少流量，将页面压缩。常见的压缩方式为gzip，随便百度一下就可以收到解压gzip文件的代码：



def unzip(data):
import gzip
import StringIO
data = StringIO.StringIO(data)
gz = gzip.GzipFile(fileobj=data)
data = gz.read()
gz.close()
return data

　　其它的压缩方式暂不讨论。

三、一个很丑陋的demo



# -*- coding: utf-8 -*-
'''
Created on 2015年1月28日
@author: zhang
'''
from bs4 import BeautifulSoup
result = {}
key_word = u'李克强'
def unzip(data):
import gzip
import StringIO
data = StringIO.StringIO(data)
gz = gzip.GzipFile(fileobj=data)
data = gz.read()
gz.close()
return data
def init_bs(url,encoding):
import urllib2
html_doc = ''
respone = urllib2.urlopen(url)
header = respone.info()
if 'Content-Encoding' in header:
if header['Content-Encoding'] == 'gzip':
html_doc = unzip(respone.read()).decode(encoding,'ignore')
else:
pass
else:
html_doc = respone.read().decode(encoding,'ignore')
return(BeautifulSoup(html_doc))
def get_target(soup):
for link in soup.find_all('a'):
text = link.get_text()
if text.find(key_word) != -1:
result[link.get('href')] = text

di = { 'gb2312':['http://www.sina.com.cn','http://www.people.com.cn/','http://www.people.com.cn/'
,'http://www.163.com/','http://www.qq.com/'],
'gbk':['http://www.sohu.com'],
'utf-8':['http://www.huanqiu.com/','http://www.xinhuanet.com/']
}
for k,v in di.iteritems():
for url in v:
soup = init_bs(url,'gb2312')
get_target(soup)

for k,v in result.iteritems():
print k,v