设为首页 收藏本站

运维网

 找回密码
 立即注册
查看: 790|回复: 0

[经验分享] 使用python 提取html文件中的特定数据

[复制链接]
砂拉豆

尚未签到
发表于 2017-5-6 07:11:10 | 显示全部楼层 |阅读模式
　　
python提供了SGMLParser类用于html文件的解析。用户只需从SGMLParser类继承子类，并在子类中对html文件做具体处理。


例如 具有如下结构的html文件
 
[html]view plaincopy 



  • <divclass='entry-content'>
  • <p>感兴趣内容1</p>
  • <p>感兴趣内容2</p>
  • ……
  • <p>感兴趣内容n</p>
  • </div>
  • <divclass='content'>
  • <p>内容1</p>
  • <p>内容2</p>
  • ……
  • <p>内容n</p>
  • </div>

 
　　我们尝试获得'感兴趣内容'

对于文本内容,我们保存到IDList中。
可是如何标记我们遇到的文本是感兴趣的内容呢，也就是，处于
[html]view plaincopy 



  • <divclass='entry-content'>
  • <p>这里的内容</p>
  • <p>还有这里</p>
  • ……
  • <p>以及这里的内容</p>
  • </div>

　　思路如下

  • 遇到<div class='entry-content'> 设置标记flag = True
  • 遇到</div>后 设置标记flag = False
  • 当flag 为True时遇到<p> 设置标记getdata = True
  • 遇到</p> 且getdata = True,设置getdata = False
python为我们提供了SGMLParser类，SGMLParser 将 HTML 分析成 8 类数据[1]，然后对每一类调用单独的方法:使用时只需继承SGMLParser 类，并编写页面信息的处理函数。
可用的处理函数如下：

  • 开始标记 (Start tag)
是一个开始一个块的 HTML 标记，象 <html>，<head>，<body> 或 <pre> 等，或是一个独一的标记，象 <br> 或 <img> 等。当它找到一个开始标记 tagname，SGMLParser 将查找名为start_tagname或do_tagname的方法。例如，当它找到一个 <pre> 标记，它将查找一个 start_pre 或 do_pre 的方法。如果找到了，SGMLParser 会使用这个标记的属性列表来调用这个方法；否则，它用这个标记的名字和属性列表来调用unknown_starttag方法。


  • 结束标记 (End tag)
是结束一个块的 HTML 标记，象 </html>，</head>，</body> 或 </pre> 等。当找到一个结束标记时，SGMLParser 将查找名为end_tagname的方法。如果找到，SGMLParser 调用这个方法，否则它使用标记的名字来调用unknown_endtag。


  • 字符引用 (Character reference)
用字符的十进制或等同的十六进制来表示的转义字符，象 &#160;。当找到，SGMLParser 使用十进制或等同的十六进制字符文本来调用handle_charref。


  • 实体引用 (Entity reference)
HTML 实体，象 &copy;。当找到，SGMLParser 使用 HTML 实体的名字来调用handle_entityref。


  • 注释 (Comment)
HTML 注释, 包括在 <!-- ... -->之间。当找到，SGMLParser 用注释内容来调用handle_comment。


  • 处理指令 (Processing instruction)
HTML 处理指令，包括在 <? ... > 之间。当找到，SGMLParser 用处理指令内容来调用handle_pi。


  • 声明 (Declaration)
HTML 声明，如 DOCTYPE，包括在 <! ... >之间。当找到，SGMLParser 用声明内容来调用handle_decl。


  • 文本数据 (Text data)
文本块。不满足其它 7 种类别的任何东西。当找到，SGMLParser 用文本来调用handle_data。
 
　　综上，的到如下代码


[python]view plaincopy 



  • fromsgmllibimportSGMLParser
  • classGetIdList(SGMLParser):
  • defreset(self):
  • self.IDlist=[]
  • self.flag=False
  • self.getdata=False
  • SGMLParser.reset(self)
  • defstart_div(self,attrs):
  • fork,vinattrs:#遍历div的所有属性以及其值
  • ifk=='class'andv=='entry-content':#确定进入了<divclass='entry-content'>
  • self.flag=True
  • return
  • defend_div(self):#遇到</div>
  • self.flag=False
  • defstart_p(self,attrs):
  • ifself.flag==False:
  • return
  • self.getdata=True

[python]view plaincopy 



  • defend_p(self):#遇到</p>
  • ifself.getdata:
  • self.getdata=False
  • defhandle_data(self,text):#处理文本
  • ifself.getdata:
  • self.IDlist.append(text)

[python]view plaincopy 



  • defprintID(self):
  • foriinself.IDlist:
  • printi

　　
上面的思路存在一个bug
遇到</div>后 设置标记flag = False
如果遇到div嵌套怎么办？
[html]view plaincopy 



  • <divclass='entry-content'><div>我是来捣乱的</div><p>感兴趣</p></div>

　　在遇到第一个</div>之后标记flag = False，导致无法的到‘感兴趣内容’。
怎么办呢？如何判断遇到的</div>是和<div class='entry-content'>匹配的哪个呢？
很简单，</div>和<div>是对应的，我们可以记录他所处的层数。进入子层div verbatim加1,退出子层div verbatim减1.这样就可以判断是否是同一层了。


修改后如下
[python]view plaincopy 



  • fromsgmllibimportSGMLParser
  • classGetIdList(SGMLParser):
  • defreset(self):
  • self.IDlist=[]
  • self.flag=False
  • self.getdata=False
  • self.verbatim=0
  • SGMLParser.reset(self)
  • defstart_div(self,attrs):
  • ifself.flag==True:
  • self.verbatim+=1#进入子层div了，层数加1
  • return
  • fork,vinattrs:#遍历div的所有属性以及其值
  • ifk=='class'andv=='entry-content':#确定进入了<divclass='entry-content'>
  • self.flag=True
  • return
  • defend_div(self):#遇到</div>
  • ifself.verbatim==0:
  • self.flag=False
  • ifself.flag==True:#退出子层div了，层数减1
  • self.verbatim-=1
  • defstart_p(self,attrs):
  • ifself.flag==False:
  • return
  • self.getdata=True
  • defend_p(self):#遇到</p>
  • ifself.getdata:
  • self.getdata=False
  • defhandle_data(self,text):#处理文本
  • ifself.getdata:
  • self.IDlist.append(text)
  • defprintID(self):
  • foriinself.IDlist:
  • printi

　　

最后建立了我们自己的类GetIdList后如何使用呢？
简单建立实例 t = GetIdList()
the_page为字符串，内容为html
t.feed(the_page)#对html解析
t.printID()打印出结果
 
全部测试代码为
 
[python]view plaincopy 



  • fromsgmllibimportSGMLParser
  • classGetIdList(SGMLParser):
  • defreset(self):
  • self.IDlist=[]
  • self.flag=False
  • self.getdata=False
  • self.verbatim=0
  • SGMLParser.reset(self)
  • defstart_div(self,attrs):
  • ifself.flag==True:
  • self.verbatim+=1#进入子层div了，层数加1
  • return
  • fork,vinattrs:#遍历div的所有属性以及其值
  • ifk=='class'andv=='entry-content':#确定进入了<divclass='entry-content'>
  • self.flag=True
  • return
  • defend_div(self):#遇到</div>
  • ifself.verbatim==0:
  • self.flag=False
  • ifself.flag==True:#退出子层div了，层数减1
  • self.verbatim-=1
  • defstart_p(self,attrs):
  • ifself.flag==False:
  • return
  • self.getdata=True
  • defend_p(self):#遇到</p>
  • ifself.getdata:
  • self.getdata=False
  • defhandle_data(self,text):#处理文本
  • ifself.getdata:
  • self.IDlist.append(text)
  • defprintID(self):
  • foriinself.IDlist:
  • printi
  • ##importurllib2
  • ##importdatetime
  • ##vrg=(datetime.date(2012,2,19)-datetime.date.today()).days
  • ##strUrl='http://www.nod32id.org/nod32id/%d.html'%(200+vrg)
  • ##req=urllib2.Request(strUrl)#通过网络获取网页
  • ##response=urllib2.urlopen(req)
  • ##the_page=response.read()
  • the_page='''''<html>
  • <head>
  • <title>test</title>
  • </head>
  • <body>
  • <h1>title</h1>
  • <divclass='entry-content'>
  • <divclass='ooxx'>我是来捣乱的</div>
  • <p>感兴趣内容1</p>
  • <p>感兴趣内容2</p>
  • ……
  • <p>感兴趣内容n</p>
  • <divclass='ooxx'>我是来捣乱的2<divclass='ooxx'>我是来捣乱的3</div></div>
  • </div>
  • <divclass='content'>
  • <p>内容1</p>
  • <p>内容2</p>
  • ……
  • <p>内容n</p>
  • </div>
  • </body>
  • </html>
  • '''
  • lister=GetIdList()
  • lister.feed(the_page)
  • lister.printID()

　　执行后 输出为
 
 
[python]view plaincopy 



  • 感兴趣内容1
  • 感兴趣内容2
  • 感兴趣内容n

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表，该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有，请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意，请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息，一经发现立即删除。若您因此触犯法律，一切后果自负，我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集，我们仅提供一个展示、介绍、观摩学习的平台，我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责，亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏，不得用于商业或者其他用途，否则，一切后果均由您自己承担，我们对此不承担任何法律责任
7、如涉及侵犯版权等问题，请您及时通知我们，我们将立即采取措施予以解决
8、联系人Email：admin@iyunv.com 网址：www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址：https://www.yunweiku.com/thread-373548-1-1.html 上篇帖子： Python 入门（三）处理大数据：列表和元组 下篇帖子： ArcGIS Server Administrator API 编写python脚本(一)
回复

使用道具 举报

返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群，最新一手资源尽在官方微信交流群！快快加入我们吧...

扫描微信二维码查看详情

客服 E-mail:iyunvcom@gmail.com

本站由青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

豫ICP备20007574号-1 Copyright © 2012-2025

关于我们

发展历程

联系我们

关注我们

广告服务

广告案例

隐私条款

免责声明

用户登录

用户注册

版主守则

申请版主

手机版

金币获取

帮助中心

每日签到

Good Good

Study

Day Day

UP


客服E-mail:kefu@iyunv.com 客服QQ：1061981298


QQ群⑦：运维网交流群⑦ QQ群⑧：运维网交流群⑧ k8s群：运维网kubernetes交流群


提醒：禁止发布任何违反国家法律、法规的言论与图片等内容；本站内容均来自个人观点与网络等信息，非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来，其版权均归原作者及其网站所有，我们尊重他人的合法权益，如有内容侵犯您的合法权益，请及时与我们联系进行核实删除！



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表