基于TOMCAT的爬虫问题分析报告

吸毒的虫子

环境：
1. Tomcat6.0.26
2. 页面抓取工具 WebClient
3. tomcat运行环境 ：默认参数
分析工具及方法：
工具：JProfiler 6.0.3
方法：在真实生产环境下启动爬虫，使用JProfiler监测该爬虫节点具体运行情况。
错误现象：
1. 关闭tomcat时报错。（MYSQL JDBC或XXX线程无法关闭可能导致memory leek。）
2. 运行时内存溢出。（Exception in thread "Thread-127" java.lang.OutOfMemoryError: PermGen space）
3. Redeploy时内存溢出（java.lang.OutOfMemoryError: PermGen space）

分析原因：
1． 关闭tomcat时报错：
6.0.26版本之后的tomcat会在自身关闭时，强制关闭第三方线程。这时会给出“友情”提示，报错“可能产生内存溢出”。而jdbc等第三方jar提供者尚未针对新版本做集成，所以该现象属正常。对于WEB应用完全无碍。
2． 运行时内存溢出：
JVM的运行时内存分为多个区域。PermGen区称为永久保存区。其用于保存程序运行过程中所有的类信息（作为“反射”等功能的语言支撑环境），默认为4MB。在大型工程，尤其是SSH+大量第三方jar包的环境下，由于要提供AOP、IOC等特性，可能会动态生成类，极可能造成该内存区溢出（见下图，呈缓慢上升趋势），但这种类的数量是有上限的。所以一般情况下只需要将该区域手动扩大（设置相关参数），则可以满足要求。

JVM类占用内存示意图

3． Redeploy时内存溢出：
原因同上。

资源爬虫代码问题：
1. WebClient工具多线程不安全！而现在代码中是每个网站爬虫分别享有一个实例，所以并发时出错。
2. 在异常或者爬虫结束时没有释放WebClient！使用WebClient的getPage函数时，若启用了JavaScript，则会单独起一个JavaScript运行线程。在使用完毕后若不对其进行手动清理（调用closeAllWindows()函数）则该JavaScript线程会一直存在并占用资源。见下图中的JavaScriptJob1。

以上资料来源于HtmlUnit官网API说明，见
http://htmlunit.sourceforge.net/apidocs/com/gargoylesoftware/htmlunit/WebClient.html

线程生命期示意图

tomcat运行时内存占用：
根据分析，应用层能进行垃圾回收。峰值有上限，不存在代码级Heap溢出问题。见下图（中间停滞阶段为服务器停了，可以忽略）：

内存使用示意图

结论：

现有爬虫架构完全可以适用，只需修改配置，并按照正确的方法使用第三方工具