#python爬虫：爬取糗事百科段子

小雨点点789

#出处:http://python.jobbole.com/81351/
#确定url并抓取页面代码，url自己写一个
import urllib,urllib2
def getUrl():
    page=1
    url="http://www.qiushibaike.com/hot/page/"+str(page)
    try:
        request=urllib2.Request(url)
        response=urllib2.urlopen(request)
        print response.read()
    except urllib2.URLError,e:
        if hasattr(e,'code'):
            print e.code
        if hasattr(e,'reason'):
            print e.reason
#getUrl()#运行错误
def getUrl():
    page=1
    url="http://www.qiushibaike.com/hot/page/"+str(page)
    user_age='Mozilla/4.0(compatible;MSIE5.5;Windows NT)'
    headres={'User-Agent':user_age}
    try:
        request=urllib2.Request(url,headers=headres)
        response=urllib2.urlopen(request)
        print response.read()
    except urllib2.URLError,e:
        if hasattr(e,'code'):
            print e.code
        if hasattr(e,'reason'):
            print e.reason#这样打印出页面的源代码
#提取某一页的所有段子
#要求:获取发布人，发布日期，段子内容，点赞的个数,但是有些段子是带图片，在控制台不能显示图片，所以需要把带有图片的段子给删除掉，只保存仅文本段子
#目的通过正则匹配来寻找所有要求的内容，方法如下
import re
def getUrl1():
    page=1
    url="http://www.qiushibaike.com/hot/page/"+str(page)
    user_age='Mozilla/4.0(compatible;MSIE5.5;Windows NT)'
    headres={'User-Agent':user_age}
    try:
        request=urllib2.Request(url,headers=headres)
        response=urllib2.urlopen(request)
        content=response.read().decode('utf-8')
        pattern=re.compile('<div.*?class="author.*?>.*?<a.*?</a>.*?<a.*?>(.*?)</a>.*?<div.*?class'+
                         '="content".*?title="(.*?)">(.*?)</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
        items=re.findall(pattern,content)
        for i in items:
            haveImg=re.search('img',i[3])
            if not haveImg:
                print i[0],i[1],i[2],i[4]
    except urllib2.URLError,e:
        if hasattr(e,'code'):
            print e.code
        if hasattr(e,'reason'):
            print e.reason
#利用面向对象模式编程
import urllib,urllib2,re,thread,time
class QSBK:
    def __init__(self):
        self.pageIndex=1
        self.user_agent="Mozilla/4.0(compatible;MSIE5.5;Windows NT)"
        self.headres={'User-Agent':self.user_agent}#初始化
        self.stories=[]#存入变量
        self.enable=False#是否继续运行变量
    def getPage(self,pageIndex):#传入某个一页索引获得页面代码
        try:
            url='http://www.qiushibaike.com/hot/page/'+str(pageIndex)
            request=urllib2.Request(url,headers=self.headres)#构建请求
            response=urllib2.urlopen(request)#利用urlopen获取页面代码
            pageCode=response.read().decode('utf-8')#编码为utf-8
            return pageCode
        except urllib2.URLError as e:
            if hasattr(e,'reason'):
                print u'连接失败:{0}'.format(e.reason)
                return None
    #传入某一页代码，返回本页不带图片的段子列表
    def getPageItems(self,index):
        pageCode=self.getPage(index)
        if not pageCode:
            print u'加载页面失败.....'
            return None
        pattern=re.compile('<div.*?class="author.*?>.*?<a.*?</a>.*?<a.*?>(.*?)</a>.*?<div.*?class'+
                         '="content".*?title="(.*?)">(.*?)</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
        items=re.findall(pattern,pageCode)
        #用来存储每页段子们
        pageStories=[]
        #遍历正则表达式匹配信息
        for i in items:
            #是否含有图片
            haveImg=re.search('img',i[3])
            if not haveImg:#如果不含有图片，把它加入到列表中
                #i[0]是一个段子的发布者,i[1]发布时间，i[2]内容，i[4]点赞数
                pageStories.append([i[0].strip(),i[1].strip(),i[2].strip(),i[4].strip()])
        return  pageStories
    #加载并提取页面内容，加入到列表中
    def loadPage(self):#如果当前来看的页面小于2页，则加载新一页
        if self.enable==True:
            if len(self.stories)<2:#获取新一页
                pageS=self.getPageItems(self.pageIndex)
                if pageS:
                    #将该页面的段子放到全局列表中
                    self.stories.append(pageS)
                    self.pageIndex+=1#获取完之后页面索引加1，表示下次读取下一页
    #调用该方法，每次敲回车打印输出一个段子
    def getOneStory(self,page1,page):
        for story in page1:#遍历一页
            _input=raw_input()#等待用户输入
            self.loadPage()#每当输入回车一次，判断一下是否要加载新页面
            if _input=='Q':#如果输入为Q则结束
                self.enable=False
                return
            print u'第{0}页\t发布人:{1}\t发布时间:{2}\n{3}赞:{4}\n'.format(page,story[0],story[1],story[2],story[3])
    #开始
    def start(self):
        print u'正在读取信息，按回车查看新段子，Q退出>>>'
        self.enable=True#变量为真，程序可以正常运行
        self.loadPage()#先加载一页内容
        howpage=0#局部变量，控制当前讲到了第几页
        print 11
        while self.enable:
            if len(self.stories)>0:
                pageStories=self.stories[0]#从全局列表中获取一页段子
                howpage+=1#当前读到页面加1
                del self.stories[0]#传全局列表中第一个元素删除，因为已经取出
                self.getOneStory(pageStories,howpage)#输出
spider=QSBK()
spider.start()