用Python Mechanize做爬虫遇到的内存过高问题

jlthlx

　　今天在用mechanize写了一个爬虫脚本，想要去某网站爬取大概30万张图片。
　　整个过程是：
　　1、获取目标页面地址
　　2、取得目标地址前几页的所有图片url
　　3、对这些url进行下载，并把索引数据保存到mysql数据库。
　　这个脚本大概每秒钟完成一张图片的下载(主要是网络只有200K/S左右，是瓶颈)
　　当图片下载到大约15000张左右的时候，发现越来越慢，最后干脆停下了。
　　用ps aux查看，发现进程sleep了，感觉很奇怪。
　　free看一下，内存竟然只剩下100M了（系统总内存4GB）
　　在网上瞎逛了一下，发现原来mechanize默认会保存模拟过的操作历史，导致占用的内存越来越大：
　　http://stackoverflow.com/questions/2393299/how-do-i-disable-history-in-python-mechanize-module
　　为了方便，大约翻译一下：
　　mechanize初始化Browser()的时候，如果你不给他传一个history对象作为参数，Browser()就会按照默认的方式（允许保存操作历史）来进行初始化，你可以随便传个什么history给它即可，如自定义一个NoHistory对象：
　　


class NoHistory(object):
def add(self, *a, **k): pass
def clear(self): pass
b = mechanize.Browser(history=NoHistory())
 　　问题不大，记录一下以供后来者参考。