Lucene/Solr（5.0） 源码初探- Lucene Facet SortedSetDocValues (一）

list123342

最近研究lucene 5.0 源码， 有点心得，记在此处以免忘却。查过资料lucene4.0+全面 升级了对facet的功能效率问题，其一直宣传的一点是用DocValues改进和应用，DocValues主要是在正向索引中为每个文档存储相应的需要facet 的 field的值（配以相应的存储格式和压缩算法）来改变其效率，在本文中先用 SortedSetDocValues 做为研究例子，同时用lucene自带的例子开头：

public class SimpleSortedSetFacetsExample {
/*这里例子原来是讲index文件放在内存中，本人为了查看文件格式将其放在指定目录里   面*/
private Directory indexDir = null;//new RAMDirectory();
private final FacetsConfig config = new FacetsConfig();
/** Empty constructor */
public SimpleSortedSetFacetsExample() {
try {
indexDir = FSDirectory.open(Paths.get("D:\\index"));
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}

/** Build the example index. */
private void index() throws IOException {
IndexWriter indexWriter = new IndexWriter(indexDir, new IndexWriterConfig(
new WhitespaceAnalyzer()).setOpenMode(OpenMode.CREATE));
Document doc = new Document();
// 这里保存文件格式用的是专门SortedSetDocValuesFacetField field,4.0+支持
doc.add(new SortedSetDocValuesFacetField("Author", "Bob"));
doc.add(new SortedSetDocValuesFacetField("Publish Year", "2010"));
//在build方法里面开始组织field信息，见code1:
indexWriter.addDocument(config.build(doc));
doc = new Document();
doc.add(new SortedSetDocValuesFacetField("Author", "Lisa"));
doc.add(new SortedSetDocValuesFacetField("Publish Year", "2010"));
indexWriter.addDocument(config.build(doc));
doc = new Document();
doc.add(new SortedSetDocValuesFacetField("Author", "Lisa"));
doc.add(new SortedSetDocValuesFacetField("Publish Year", "2012"));
indexWriter.addDocument(config.build(doc));
doc = new Document();
doc.add(new SortedSetDocValuesFacetField("Author", "Susan"));
doc.add(new SortedSetDocValuesFacetField("Publish Year", "2012"));
indexWriter.addDocument(config.build(doc));
doc = new Document();
doc.add(new SortedSetDocValuesFacetField("Author", "Frank"));
doc.add(new SortedSetDocValuesFacetField("Publish Year", "1999"));
indexWriter.addDocument(config.build(doc));
indexWriter.close();
}
/** User runs a query and counts facets. */
private List<FacetResult> search() throws IOException {
DirectoryReader indexReader = DirectoryReader.open(indexDir);
IndexSearcher searcher = new IndexSearcher(indexReader);
SortedSetDocValuesReaderState state = new DefaultSortedSetDocValuesReaderState(indexReader);
// Aggregatses the facet counts
FacetsCollector fc = new FacetsCollector();
// MatchAllDocsQuery is for "browsing" (counts facets
// for all non-deleted docs in the index); normally
// you'd use a "normal" query:
FacetsCollector.search(searcher, new MatchAllDocsQuery(), 10, fc);
// Retrieve results
Facets facets = new SortedSetDocValuesFacetCounts(state, fc);
List<FacetResult> results = new ArrayList<>();
results.add(facets.getTopChildren(10, "Author"));
results.add(facets.getTopChildren(10, "Publish Year"));
//在这里触发flush 操作
indexReader.close();
return results;
}
/** User drills down on 'Publish Year/2010'. */
private FacetResult drillDown() throws IOException {
DirectoryReader indexReader = DirectoryReader.open(indexDir);
IndexSearcher searcher = new IndexSearcher(indexReader);
SortedSetDocValuesReaderState state = new DefaultSortedSetDocValuesReaderState(indexReader);
// Now user drills down on Publish Year/2010:
DrillDownQuery q = new DrillDownQuery(config);
q.add("Publish Year", "2010");
FacetsCollector fc = new FacetsCollector();
FacetsCollector.search(searcher, q, 10, fc);
// Retrieve results
Facets facets = new SortedSetDocValuesFacetCounts(state, fc);
FacetResult result = facets.getTopChildren(10, "Author");
indexReader.close();
return result;
}
/** Runs the search example. */
public List<FacetResult> runSearch() throws IOException {
index();
return search();
}
/** Runs the drill-down example. */
public FacetResult runDrillDown() throws IOException {
index();
return drillDown();
}
/** Runs the search and drill-down examples and prints the results. */
public static void main(String[] args) throws Exception {
System.out.println("Facet counting example:");
System.out.println("-----------------------");
SimpleSortedSetFacetsExample example = new SimpleSortedSetFacetsExample();
List<FacetResult> results = example.runSearch();
System.out.println("Author: " + results.get(0));
System.out.println("Publish Year: " + results.get(0));
System.out.println("\n");
System.out.println("Facet drill-down example (Publish Year/2010):");
System.out.println("---------------------------------------------");
System.out.println("Author: " + example.runDrillDown());
}
}


code1:

//FacetsConfig.build
public Document build(TaxonomyWriter taxoWriter, Document doc) throws IOException {
......
//组织SortedSetDocValuesFacetField 信息
if (field.fieldType() == SortedSetDocValuesFacetField.TYPE) {
SortedSetDocValuesFacetField facetField = (SortedSetDocValuesFacetField) field;
FacetsConfig.DimConfig dimConfig = getDimConfig(facetField.dim);
if (dimConfig.multiValued == false) {
checkSeen(seenDims, facetField.dim);
}
/**这里做了统一处理，对于所有的 SortedSetDocValuesFacetField ,其 indexFieldName 统一为$facets，与用户在SortedSetDocValuesFacetField 中定义的完全无关，用户定义的名值对在SortedSetDocValuesFacetField 映射应该是dim,label， 如new SortedSetDocValuesFacetField("Author", "Bob") 那么其dim应该是Author，label是Bob*/
String indexFieldName = dimConfig.indexFieldName;
List<SortedSetDocValuesFacetField> fields = dvByField.get(indexFieldName);
/** fields 这里存储的是 所有的SortedSetDocValuesFacetField ， 并且以统一的以indexFieldName 保存在dvByField */
if (fields == null) {
fields = new ArrayList<>();
dvByField.put(indexFieldName, fields);
}
//完成文档的fields的初步处理
fields.add(facetField);
}

.......
processFacetFields(taxoWriter, byField, result);
//这里专门对SortedSetDocValuesFacetField 名值对二次处理，具体见下：
processSSDVFacetFields(dvByField, result);
processAssocFacetFields(taxoWriter, assocByField, result);
............
}

//FacetsConfig.processSSDVFacetFields
private void private void processSSDVFacetFields(Map<String,List<SortedSetDocValuesFacetField>> byField, Document doc) throws IOException {
//System.out.println("process SSDV: " + byField);
for(Map.Entry<String,List<SortedSetDocValuesFacetField>> ent : byField.entrySet()) {
String indexFieldName = ent.getKey();
//System.out.println("  field=" + indexFieldName);
// 循环文档中所有的SortedSetDocValuesFacetField
for(SortedSetDocValuesFacetField facetField : ent.getValue()) {
FacetLabel cp = new FacetLabel(facetField.dim, facetField.label);
/*这里是将fields 中 dim 和 label 连起来中间用"\u001f" 做单元分隔符做区别 ， 比如Author\u001fBob*/
String fullPath = pathToString(cp.components, cp.length);
//System.out.println("add " + fullPath);
// For facet counts:
//将整个fullPath 做为值存储。
doc.add(new SortedSetDocValuesField(indexFieldName, new BytesRef(fullPath)));
// For drill-down:
doc.add(new StringField(indexFieldName, fullPath, Field.Store.NO));
doc.add(new StringField(indexFieldName, facetField.dim, Field.Store.NO));
}
}
}


以上完成了SortedSetDocValuesField的一个重组，在分析写进文件系统中，有几个问题先问自己？
上面的代码分析可以看出最后要存储进去的一定是一个dim+label完整的字符串。
1.DocValues 如果是被认为是每个文档的相应的field值，那么存储的时候是按照文档存储的？比如文档1：这个$facets值是E....文档2，这个$facets值 C 存储？那么如果文档间如果有相同的filed值是按照上面重复存储还是只存一个值，如文档1：这个$facets值是E，文档2如果也是相同值E，这个$facets值是存地址？因为A已经存储在文档1中，是否有类似地址指向指向E值？(瞎猜？！)，如果按照这样设计文件如何能改善facet统计，这和以前存储又何区别？
2.如果存储不是按照1上面所说的，还有一种方案就是所有的文档在同一个field值给所有文档排序去重共享（SortedSet），那么上面例子存储值就是C，E 对于文档1，2共享，但是这样又带来一个新问题，我必须知道文档1有过什么值，文档2 有过什么值。这又回到1按照文档存储值的老思路上来？！