#python爬虫：爬取糗事百科段子
#出处:http://python.jobbole.com/81351/#确定url并抓取页面代码，url自己写一个
import urllib,urllib2
def getUrl():
page=1
url="http://www.qiushibaike.com/hot/page/"+str(page)
try:
request=urllib2.Request(url)
response=urllib2.urlopen(request)
print response.read()
except urllib2.URLError,e:
if hasattr(e,'code'):
print e.code
if hasattr(e,'reason'):
print e.reason
#getUrl()#运行错误
def getUrl():
page=1
url="http://www.qiushibaike.com/hot/page/"+str(page)
user_age='Mozilla/4.0(compatible;MSIE5.5;Windows NT)'
headres={'User-Agent':user_age}
try:
request=urllib2.Request(url,headers=headres)
response=urllib2.urlopen(request)
print response.read()
except urllib2.URLError,e:
if hasattr(e,'code'):
print e.code
if hasattr(e,'reason'):
print e.reason#这样打印出页面的源代码
#提取某一页的所有段子
#要求:获取发布人，发布日期，段子内容，点赞的个数,但是有些段子是带图片，在控制台不能显示图片，所以需要把带有图片的段子给删除掉，只保存仅文本段子
#目的通过正则匹配来寻找所有要求的内容，方法如下
import re
def getUrl1():
page=1
url="http://www.qiushibaike.com/hot/page/"+str(page)
user_age='Mozilla/4.0(compatible;MSIE5.5;Windows NT)'
headres={'User-Agent':user_age}
try:
request=urllib2.Request(url,headers=headres)
response=urllib2.urlopen(request)
content=response.read().decode('utf-8')
pattern=re.compile('<div.*?class="author.*?>.*?<a.*?</a>.*?<a.*?>(.*?)</a>.*?<div.*?class'+
'="content".*?title="(.*?)">(.*?)</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
items=re.findall(pattern,content)
for i in items:
haveImg=re.search('img',i)
if not haveImg:
print i,i,i,i
except urllib2.URLError,e:
if hasattr(e,'code'):
print e.code
if hasattr(e,'reason'):
print e.reason
#利用面向对象模式编程
import urllib,urllib2,re,thread,time
class QSBK:
def __init__(self):
self.pageIndex=1
self.user_agent="Mozilla/4.0(compatible;MSIE5.5;Windows NT)"
self.headres={'User-Agent':self.user_agent}#初始化
self.stories=[]#存入变量
self.enable=False#是否继续运行变量
def getPage(self,pageIndex):#传入某个一页索引获得页面代码
try:
url='http://www.qiushibaike.com/hot/page/'+str(pageIndex)
request=urllib2.Request(url,headers=self.headres)#构建请求
response=urllib2.urlopen(request)#利用urlopen获取页面代码
pageCode=response.read().decode('utf-8')#编码为utf-8
return pageCode
except urllib2.URLError as e:
if hasattr(e,'reason'):
print u'连接失败:{0}'.format(e.reason)
return None
#传入某一页代码，返回本页不带图片的段子列表
def getPageItems(self,index):
pageCode=self.getPage(index)
if not pageCode:
print u'加载页面失败.....'
return None
pattern=re.compile('<div.*?class="author.*?>.*?<a.*?</a>.*?<a.*?>(.*?)</a>.*?<div.*?class'+
'="content".*?title="(.*?)">(.*?)</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
items=re.findall(pattern,pageCode)
#用来存储每页段子们
pageStories=[]
#遍历正则表达式匹配信息
for i in items:
#是否含有图片
haveImg=re.search('img',i)
if not haveImg:#如果不含有图片，把它加入到列表中
#i是一个段子的发布者,i发布时间，i内容，i点赞数
pageStories.append(.strip(),i.strip(),i.strip(),i.strip()])
returnpageStories
#加载并提取页面内容，加入到列表中
def loadPage(self):#如果当前来看的页面小于2页，则加载新一页
if self.enable==True:
if len(self.stories)<2:#获取新一页
pageS=self.getPageItems(self.pageIndex)
if pageS:
#将该页面的段子放到全局列表中
self.stories.append(pageS)
self.pageIndex+=1#获取完之后页面索引加1，表示下次读取下一页
#调用该方法，每次敲回车打印输出一个段子
def getOneStory(self,page1,page):
for story in page1:#遍历一页
_input=raw_input()#等待用户输入
self.loadPage()#每当输入回车一次，判断一下是否要加载新页面
if _input=='Q':#如果输入为Q则结束
self.enable=False
return
print u'第{0}页\t发布人:{1}\t发布时间:{2}\n{3}赞:{4}\n'.format(page,story,story,story,story)
#开始
def start(self):
print u'正在读取信息，按回车查看新段子，Q退出>>>'
self.enable=True#变量为真，程序可以正常运行
self.loadPage()#先加载一页内容
howpage=0#局部变量，控制当前讲到了第几页
print 11
while self.enable:
if len(self.stories)>0:
pageStories=self.stories#从全局列表中获取一页段子
howpage+=1#当前读到页面加1
del self.stories#传全局列表中第一个元素删除，因为已经取出
self.getOneStory(pageStories,howpage)#输出
spider=QSBK()
spider.start()
页:
[1]