apache lucene 结构和主要的类
Apache lucene提供的功能大体可以看作是给一些资料建成索引, 再根据搜索词搜索出资料中一些内容。 当中的类主要分为建索引和搜索两种。一、建索引
建索引的过程为: 输入一串源字符串, 经过Analyzer分词处理,生成Document, 其中各Field要索引的索引, 要存储的存储, 最终通过IndexWriter写入内存或磁盘。
写入相关:同
[*]1.IndexWriter 主要是写索引,
[*]2.Directory类分为FSDirectory和RAMDirectory。
[*]3.Document 一个文档,是多个字段的集合,可以看作是数据库的一条记录,组合成Segment, document先在内存中保存一定的条数, 到了加入到Segment,多个Segment有个MaxMerge, 到达这个数时合并成新的一个.Segment中Document有最多条数, 一般是Integer.MAX_VALUE
[*]4.Field 具体字段, Store, Index, 可能设置权值,以便搜索时排在前面。
[*]5.Analyzer分析器, 含Filter, Tokoner, 主要的功能是按一定的规则进行分词、去除StopWord使输入串成一个个单词组
二、搜索索引
搜索的过程是:输入搜索词, 通过Analyzer处理, 再通过Parser组合成基本TermQuery搜索项。 最终通过IndexSearch的search(query),搜索出Document集合。
搜索相关的:
[*]1.IndexSearcher以只读的方式找开索引来搜索,(新的内容可以通过reopen)
[*]indexSearcher.search(query, filter, sort)
[*]2.Term:搜索的基本单元, 一般与TermQuery相关, Term
[*]3.Query: TermQuery, BooleanQuery, PhraseQuery, PrefixQuery, PhrasePrefixQuery,
[*] RangeQuery, FilterQuery, WildcardQuery
[*]4.Filter要查询时做预处理, 并不是对结果集进行过滤。资源消耗比较大的
[*]5.Sort 排序, 对结果进行排序
[*]5.Hits, hits.doc(i)
IndexReader
索引更新采用先根据IndexReader.deleteDocuments删除,然后再用IndexWriter.addDocument增加.
三、注意点:
[*]1. 对于大数据量的建索引, 可以分多线程, 先RAMDirectory再到FSDirectory
[*]2. 选择合适的分词器, 对于索引时间和索引大小都有很大的影响
[*]3. 对于搜索我们可以缓存一些结果或者是Query, 以便不搜索索引或解析特别是于RangeQuery解析,对整个索引记录标记是特别耗时的。
[*]4. 索引写的时候可以同时索引(写时在文件目录生成一个锁文件), 写完索引搜索不出来新加入的问题的, 要Indexsearch.reopen
[*]5. 搜索时多个条件时一般都是BooleanQuery来组合TermQuery
页:
[1]