Nutch、Hadoop、Lucene、Solr 之间 的数据交互

阿斯顿阿斯顿

　　Nutch1.4
　　最近一段在研究Nutch、Solr，Nutch 把数据 存放在 HDFS 上，想探讨一下 Nutch 是怎么把数据存储到HDFS 上，查看源码分析。
　　在看 Nutch 源码时，没有找到一点于 Lucene 关联的内容，Nutch 把所有的，都按自己的重新写了一遍，NutchDocument、NutchField ，都 实现 Hadoop的Writable 接口。这样就很容易的写到了 HDFS 上。
　　Nutch 可以 用 把数据传输给 Solr
　　

bin/nutch solrindex http://127.0.0.1:8983/solr/ crawldb -linkdb crawldb/linkdb crawldb/segments/*
这个命令调用的是：org.apache.nutch.indexer.solr.SolrIndexer　　在上面会 MapReduce 的配置 及启动。查看Reduce的实现，没有任何的 向Solr 写内容的代码，在初始化Job的时候
　　NutchIndexWriterFactory.addClassToConf(job, SolrWriter.class);
　　有一个这样的类，SolrWriter ，在这个里面可以找到相关与Solr交互的代码。
　　而Solr 里，接收请求的是：BinaryUpdateRequestHandler ，会把 Nutch 传进来的 内容 转换成 Lucene 的索引。