用python进行分布式网页数据抓取（二）—— 核心问题讨论

YY-LIN

　　数据匹配
　　首先先研究最关键的数据抓取。从形式各异的数据中将内容“扒”下来。
　　当然得依赖我们的强力工具 正则表达式了（个人觉得基于DOM树分析很麻烦，很不灵活）
　　分析了几个BOKECC页面后，总结如下：
　　1. 各页面有一定差别，可能是基于不同版本。HTML写的很不正规，基于HTML标签来匹配肯定不合适。
　　2. 页面带动态内容，需要分析，模拟AJAX去请求。
　　在基于HTML源码的数据爬取中，如果单纯的想基于HTML标签做挖掘，肯定正确率很低。还是需要返璞归真，人怎么看的，就怎么挖。
　　于是我大多是采用基于页面视觉（比如文字、或者区域）的匹配方法。将一些不太重要的HTML标签过滤掉。然后进行数据匹配。
　　这里用到了python的re模块。
　　先写了写几个程序用来测试，测试了来自20个不同网站的页面，基本能够抓取正确。
　　接下来说说AJAX内容。
　　为什么动态内容需要模拟AJAX请求呢？
　　因为你以HTTP流的方式去获取网页内容，是不带动态打出的内容的。（比如div标签里是空的），但是当你以浏览器的形式去访问，能够看到数据，这是因为浏览器的javascript引擎执行了其中的JS代码，去异步请求数据，动态打出在页面上。
　　WEB接口
　　每个节点需要暴露WEB接口，在上一篇的设计中，我提到了SOAP协议。实际实现的时候，在此系统中我们还是使用的基于HTTP GET的接口。（编码比较简单，:D），为了方便部署、也为了体现python一切都那么简单的原则，我没有使用apache等知名Web服务器，而是使用了python的BaseHTTPServer模块。重载 do_GET方法来实现我们的WEB接口暴露。
　　为什么WEB接口需要设计同步和异步两种返回？由于我们的分布式节点是基于任务形式的，所以我们节点任务逻辑反馈包括2步：
　　1. 确认任务收到
　　2. 任务完成回调
　　这样控制者方面的程序就很好编写了：对于所有的节点发送任务，同时附带任务号，在节点同步反馈接收任务后，等待，若某节点任务回调了，则认为该节点闲置，再分配任务。。。（当然，实际情况可能每个节点是多线程跑的，还可以由节点、或者控制者来维护一个任务队列和线程池）
　　异步如何实现？
　　起线程。（当然你也可以管理线程池，我这儿就没管这么多了）
　　数据库操作
　　没啥好说的，我这用的MYSQL，直接SQL语句。简单明了。
　　如何部署？
　　
　　由于我这只有在WINDOWS平台部署的需求，所以我用py2exe打成EXE包发布。
　　若想实现自动化部署也很简单，自己在每个节点上写个“后门”，可以统一调度所有机器的后门即可。（控制其下载、重启）