lucene对mongodb数据库建索引

ph033378

　　实验室需要一个mongodb数据库的搜索引擎，经过几天的奋战，总算是写完了，这里就记录一下lucene对mongodb数据库建索引的经验吧。
　　我的方法是多线程+RAMDirectory
　　刚开始，我以为很简单，从服务器上取出了90000条数据到本地数据库，然后每从数据库取出一条数据便对其建索引，结果就这样很傻逼地一条一条地建了一个小时，而且只有10000条。请教了谷歌，发现lucene提供了RAMDirectory类库，可以先把索引建在RAM中，等超过缓存了再写到硬盘，这样可以大大提高速度，因为反复的读写硬盘是很慢很慢的操作。如果再结合多线程的话，想必速度又可以提升一大截。
　　在RAMDirectory建索引的方法：



RAMDirectory ramdir = new RAMDirectory();
Analyzer analyzer = new IKAnalyzer();
IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_44, analyzer);
IndexWriter ramwriter = new IndexWriter(ramdir,config);
while (...){
Document document = new Document();                                    document.add(...);
ramwriter.addDocument(document);   
if (ramwriter.ramSizeInBytes() > rambuffer)
ramwriter.commit();
IndexWriter.addIndexes(ramdir);//写入到硬盘
                        IndexWriter.commit();
ramwriter.close();
　　其中rambuffer我设置的是2M，对于多线程，我的方法是1W条数据一个线程，包括从数据库中取数据和建索引（RAM）两个过程，然后丢到线程池中运行。
下面是本人测试的速度：
　　rambuffer:2M
　　线程处理的数据个数：1W
　　cpu:2.1G双核
　　内存：2G
　　系统：Ubuntu 12.04
　　总数据量：9W
　　时间：40s左右
　　下面就是要到服务器测试大数据量啦。