python htmllib.HTMLParser处理A标签获取链接和描述

hq8501 · 发表于 2017-5-6 12:15:37

HTMLParser类中有针对HTML标签的相应的函数，通过自定义，重载类中的函数来处理一些标签，函数如下：

HTMLParser.anchor_bgn(href,name,type):#a标签开始的时候被调用，参数是A标签的属性值

HTMLParser.anchor_end()#锚点标签结束的时候处理

HTMLParser.save_bgn():#开始在缓冲区中保存字符数据,通过save_end（）检索存储的数据。save_bgn（）/save_end（）对可能不能嵌套使用。

HTMLParser.save_end():#结束缓冲字符数据，并返回自前调用save_bgn（）保存所有数据。一个没有前面的调用save_bgn（）调用此方法将引发TypeError异常。

HTMLParser.handle_image(source,alt[,ismap[,align[,width[,height]]]])：调用此方法来处理图像。默认实现只是简单地传递到handle_data（）方法的alt值。

HTMLParser.reset()#重置实例.所有未处理的数据都会丢失.在初始化时自动调用.

HTMLParser.feed(data)#给分析器喂食.在由完整元素构成的情况下工作；不完整数据情况下,会进行缓冲知道更多数据加进来或者
close() 被调用.

HTMLParser.close()#处理所有缓冲数据.这个方法可以被派生类重定义,以便在输入结束后处理额外的事情,重定义的版本也要调用
HTMLParser 基类的 close() 方法.

HTMLParser.getpos()#返回当前行数和列数

HTMLParser.get_starttag_text()#返回最近打开过得开始标记处的文本.通常不会用到

HTMLParser.handle_starttag(tag,
attrs)#该方法用来处理一个标记的开始.tag参数是tag的名字的小写化.attrs参数是一个list,由(name,value)组成,反映了<>里面的属性. name会被翻译成小写字母,在value中的引号也被移除了,字符实体引用也会被替换.例如,有个 tag<A HREF=”http://www.cwi.nl/”> ,那么使用该方法就该这么做：handle_starttag('a', [('href','http://www.cwi.nl/')])

HTMLParser.handle_startendtag(tag,
attrs)#和handle_starttag()类似,用来处理XHTML风格的空标签(<a.../>).可能被子类重载

HTMLParser.handle_endtag(tag)#该方法用来处理元素结束标记.可以被派生类重载；基类什么也不做.
tag参数是tag的name转化来的小写字母.

HTMLParser.handle_data(data)#该方法用来处理随机的数据.

HTMLParser.handle_charref(name)#处理
&#ref 格式的字符引用.

HTMLParser.handle_entityref(name)
#处理一般的 &name 格式的实体引用. name 是一个一般的实体引用.

HTMLParser.handle_comment(data)#处理遇到注释的情况.注释参数为在——和——之间的字符串文本,而不是分隔符自身.例如
 ,该方法将调用'text'.

HTMLParser.handle_decl(decl)#当分析器遇到SGML声明时调用此方法.
decl 参数是 <!...> 标记里的整个内容.

HTMLParser.handle_pi(data)#处理命令,
data 参数包含整个的处理命令.例如 <?proc color=’red'> ,该方法应写成 handle_pi("proc color='red'")

下面是处理A标签的例子：

#!/usr/bin/python
#encoding='utf-8'
import htmllib,urllib,formatter,string
'''
import chardet,sys
type = sys.getdefaultencoding()
'''
class GetLinks(htmllib.HTMLParser): #从HTMLParser类中继承
def __init__(self): #初始化的时候调用，将links设置为空。这里的links为字典结构
self.links = {} #存放地址->链接的字典
f = formatter.NullFormatter()#将传输过来的数据不做处理，格式化为数据流
htmllib.HTMLParser.__init__(self, f)
def anchor_bgn(self, href, name, type): #锚点标签开始的时候处理
self.save_bgn()
self.link = href
def anchor_end(self): #锚点标签结束的时候处理
text = string.strip(self.save_end()) #去掉A标签保留A标签的信息
if self.link and text:
self.links[text] = self.link#self.links.get(text, []) + [self.link]
#print self.links
#exit()
fp = urllib.urlopen("http://www.baidu.com") #打开指定的URL
data = fp.read()
fp.close()
linkdemo = GetLinks() #实例化一个LinkDemo对象
linkdemo.feed(data) #给HTMLParser喂食
linkdemo.close()
for href, link in linkdemo.links.items(): #打印相关的信息
print href, "=>", link

输出：

hao123 => http://www.hao123.com

搜索设置 => /gaoji/preferences.html

使用百度前必读 => /duty/

加入百度推广 => http://e.baidu.com/?refer=888

还有个例子:

#!/usr/bin/python
#encoding=utf-8
import HTMLParser
class MyParser(HTMLParser.HTMLParser):
def __init__(self):
HTMLParser.HTMLParser.__init__(self)
def handle_starttag(self, tag, attrs):
# 这里重新定义了处理开始标签的函数
if tag == 'a':
# 判断标签<a>的属性
for name,value in attrs:
if name == 'href':
print value
if __name__ == '__main__':
a = '<html><head><title>test</title><body><a href="http: //www.163.com">链接到163</a><a href="http://www.focus.cn">焦点</a></body></html>'
my = MyParser()
# 传入要分析的数据，是html的。
my.feed(a)

点击打开链接

账号		自动登录	找回密码
密码			立即注册

大疆运维招人啦，

C++ :try 语句块和异常处理

C++的多态

Red Hat RHCE 8 (EX294) Cert Guide

Java/C++ 区别：看完这一篇，就够用！

别再用过时库了！这 13 个顶级 C++ 库才是

c++ size_t 和 int 的区别

[经验分享] python htmllib.HTMLParser处理A标签获取链接和描述

扫码加入运维网微信交流群