python网页抓取之英汉字典+自学习能力

284354749

　　上篇每次翻译一个单词都要联网抓取，重复翻译也要抓取，感觉不太好。晚上突然想到了一个不错的办法，
　　说白了就是查询数据库如果有这个单词就拿出来，没有就联网抓取显示出来并保存进
　　数据库。时间长了几乎就不用联网了，也就是离线了！
　　本人使用的数据库是sqlite，小巧简单。当然用其他的也可以了。还是看代码吧。
　　代码增加的不多，有些可以优化先不管啦。用BeautifulSoup解析html更容易写，可以看上篇文章。
　　dict.py: python-2.7.5



  1 #!/usr/bin/python
  2 import urllib2,sys,sqlite3
  3 from HTMLParser import HTMLParser
  4
  5 class MyHTMLParser(HTMLParser):
  6     def  __init__(self):
  7         HTMLParser.__init__(self)
  8         self.t=False
  9         self.trans=[]
10         self.prs=[]
11         self.pr=False
12     def handle_starttag(self, tag, attrs):
13         if tag=='div':
14             for attr in attrs:
15                 if attr==('class','hd_prUS') or \
16                  attr==('class','hd_pr'):
17                     self.pr=True
18         if tag=='span':                       
19             for attr in attrs:
20                 if attr==('class','def'):
21                     self.t=True
22     def handle_data(self, data):
23         if self.t:
24             length=len(self.trans)+1
25             self.trans.append(str(length)+". "+data)
26             self.t=False
27         if self.pr:
28             self.prs.append(data)
29             self.pr=False
30     def getTrans(self):
31         return self.trans
32     def getPr(self):
33         return self.prs
34 class trans:
35     _URL='http://cn.bing.com/dict/search'
36     _DBPATH='./dic.sqlite'        #数据库文件位置
37     def __init__(self):
38         self.url=trans._URL+"?q=%s&go=&qs=bs&form=CM&mkt=zh-CN&setlang=ZH"
39         self.html=None
40         self.s=None               #保存翻译
41         self.pr=None              #保存发音（US和UK）
42         self.word=None            #保存单词
43         self.conn=sqlite3.connect(trans._DBPATH)
44         self.cur = self.conn.cursor()
45     def getHtml(self):
46         self.url=self.url %self.word
47         req = urllib2.Request(self.url)
48         fd=urllib2.urlopen(req)
49         self.html=fd.read()
50         self.html=unicode(self.html,'utf-8')
51         fd.close()
52     
53     def parseHtml(self):
54         parser = MyHTMLParser()
55         self.html=parser.unescape(self.html) #处理&、&#等开头的特殊字符串
56         parser.feed(self.html)
57         self.s=parser.getTrans()
58         self.pr=parser.getPr()
59         print self.word,':'
60         #for sk in self.pr:
61         print self.pr[0],',',self.pr[1]
62         print ''
63         for i in self.s:
64             print i
65
66     def saveDB(self):            #把单词信息插入数据库
67         sjoin='\n'.join(self.s)
68         uspr=self.pr[0]
69         ukpr=self.pr[1]
70         #self.cur.execute("create table if not exists  translate ( word CHAR(40) primary key, us CHAR(40), uk CHAR(40), trans text )")
71         self.cur.execute("insert into translate values(?,?,?,?);", \
72                     (self.word,uspr,ukpr,sjoin))
73         self.conn.commit()
74
75     def isExists(self,word):     #判断单词是否在db中，如果在直接打印出来。
76         self.word=word
77         rows=self.cur.execute("select * from translate where word=?",(self.word,))
78         key=rows.fetchall()
79         if key==[]:
80             return False
81         else:
82             for row in key:
83                 print row[0],':'
84                 print row[1],",",row[2]
85                 print ''
86                 print row[3]
87             return True
88     def select(self):              #测试查看用的，删不删无所谓啦
89         rows=self.cur.execute("select * from translate")
90         for row in rows:
91             print row[0]
92             print row[1],",",row[2]
93             print row[3]
94     def closeDB(self):
95         self.conn.close()
96 if __name__=='__main__':
97     t=trans()   
98     flag=t.isExists(sys.argv[1])  
99     if not flag:
100         t.getHtml()
101         t.parseHtml()
102         t.saveDB()
103     # t.select()
104     t.closeDB()
　　
　　终端运行：



08:59@:~/workspace$ ./dic.py believe              --------->这是第一次的，联网抓取的                                                                                                                                                                                   
believe :                                                                                                                                                                                                                           
美 [b??liv]  , 英 [b??li?v]                                                                                                                                                                                                                                                                                                                                                                                                                                          
1. 相信；认为真实；把（某事）当真；认为有可能                                                                                                                                                                                                            
2. 认定；看作；表示对某事吃惊或恼怒；有宗教信仰                                                                                                                                                                                                            
3. 信任；我相信；你不渺小                                                                                                                                                                                                                       
09:00@:~/workspace$ ./dic.py believe              --------->第二次从db中获取的(在查询里加个输出就知道是从db取出的了）                                                                                                                                                                           
believe :                                                                                                                                                                                                                           
美 [b??liv]  , 英 [b??li?v]                                                                                                                                                                                                                                                                                                                                                                                                                                             
1. 相信；认为真实；把（某事）当真；认为有可能                                                                                                                                                                                                            
2. 认定；看作；表示对某事吃惊或恼怒；有宗教信仰                                                                                                                                                                                                            
3. 信任；我相信；你不渺小     
　　
　　第二次翻译比第一次快多了，能感觉到。当然这是数据库中的信息比较少，多了的话现在不能下结论。
　　还有就是数据库本人用了四列，分别是word、us(美式发音)、uk（英式）、trans（翻译）。表名translate。
　　类型分别是char、char、char、text。
　　　　Note:注释是写博客后来加上去的，可以直接删了，或者添加# -*- coding: utf-8 -*-
　　本人是在linux下编写运行的.