solr+lucene+hfs心得(1)

iszjw

这几天一直在捣鼓solr,lucene,hdfs这几个东西，在此记录几个关键点

1.solr
是一个很好的中间系统，他把lucene很好的进行了包装，几乎各个部分都可以进行自己的扩展。我们会用到的部分:

自定义数据源格式，并添加索引
将原始文件和索引添加到hfs
目前搜索的部分已经够用
Cache
Rpc式的搜索

我们要用到的一些特性solr都提供了，而且很容易扩展

2.lucene
强大的索引功能，但不得不说其索引文件不支持直接写入hdfs，不得不说是一个挺麻烦的部分，查阅了很多文档，对于分布式文件系统，例如nfs，lucene的索引并不能直接写在文件系统上，需要先写到本地文件系统，然后在cp到分布式文件系统，详情可以见nutch的indexer部分的源代码

3.hdfs
这次对于分布式计算的部分可能不会接触太多，主要是使用hdfs的部分，用来冗余存放索引文件，原始文件等信息。看nutch的源代码中，发现其索引保存部分利用了map/reduce的方式。