python 抓网页内容分析

mgjj

用Python语言写搜索引擎蜘蛛的脚本非常简单、轻松。给大家分享两种抓网页内容的方法　　一、用urllib2/sgmllib包，将目标网页的所有URL列出。
　　import urllib2
　　from sgmllib import SGMLParser
　　class URLLister(SGMLParser):
　　def reset(self):
　　SGMLParser.reset(self)
　　self.urls = []
　　def start_a(self, attrs):
　　href = [v for k, v in attrs if k=='href']
　　if href:
　　self.urls.extend(href)
　　f = urllib2.urlopen("http://www.baidu.com/")
　　if f.code == 200:
　　parser = URLLister()
　　parser.feed(f.read())
　　f.close()
　　for url in parser.urls: print url
　　二、用python调用IE抓取目标网页（Require win32com, pythoncom）的所有图像的url和大小
　　import win32com.client, pythoncom
　　import time
　　ie = win32com.client.DispatchEx('InternetExplorer.Application.1')
　　ie.Visible = 1
　　ie.Navigate("http://news.sina.com.cn")
　　while ie.Busy:
　　time.sleep(0.05)
　　doc = ie.Document
　　for i in doc.images:
　　print i.src, i.width, i.height
　　这种方法可以利用IE本身的Javascript. DHTML的支持，来做自动提交Form,和处理Javascript。
　　有关样例可以参考http://win32com.de