solr中文分词的实现

ct38

　　IKAnalyer3.2.8 下载
http://code.google.com/p/ik-analyzer/downloads/detail?name=IKAnalyzer3.2.8%20bin.zip&can=2&q=
　　1.2 IK 分词器的安装   IKAnalyer3.2.8 下载
　　将IKAnalyzer3.2.5发行包解压,复制IKAnalyzer3.2.8Stable.jar到Solr的lib中，如/tomcat/webapps/solr/WEB-INF/lib，（如果用的是solr自带的example应用，则将该jar包放在\apache-solr-3.6.0\example\work\Jetty_0_0_0_0_8983_solr.war__solr__k1kf17\webapp\solr\WEB-INF\lib 目录下，因为work是solr自带的web应用文件存放的本地目录）
　　复制配置文件IKAnalyzer.cfg.xml和ext_stopword.dic到tomcat/bin中（如果用的是solr自带的example应用，可以不放这两个配置文件），如/home/tomcat/bin，同样，把这两个文件也放到/tomcat/webapps/solr/WEB-INF/lib 中；
　　打开solr本地应用文件夹，打开/solr/conf/scheme.xml，编辑text字段类型如下，添加到schema中
　　Xml代码 

<fieldType name="text" class="solr.TextField">   
<analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>   
</fieldType>  
　　
或者是

<fieldType name="text_zh" class="solr.TextField" positionIncrementGap="100">
<analyzer type="index">
<tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" useSmart="false"/>
</analyzer>
<analyzer type="query">
<tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" useSmart="false"/>
</analyzer>
</fieldType>

　　
 
　　如果需要检索某个域，还需要在scheme.xml下面的field中，添加指定的域，用text_zh来作为type的名字，来完成中文切词。
　　如 title要是实现中文检索的话，就要做如下的配置：
　　<field name="title" type="text_zh" indexed="true" stored="true" multiValued="true"/>
　　但是目前用到的都是原来xml自带的field名字，如果添加新的field，在把xml添加到索引文件时会出现不认识新加字段的问题，目前没不知道原因，估计除了需要在schema.xml里配置，还需要在其他地方做配置才行。有待于继续发掘。
　　2 优化
　　配置solrconfig.xml，用来配置Solr的一些系统属性，比较重要的一个就是可以通过更改其中的dataDir属性来指定索引文件的存放 位置，对于有大数据量的情况下还要进行自动commit操作配置，以下设置为当内存索引量达到20W条时自动进行往磁盘写操作，以免堆溢出，这也是解决单 个入库xml文件最好不要超过30M的有效方法：
　　Xml代码  

<autocommit>  
<maxdocs>200000</maxdocs>  
</autocommit>  
　　
 
　　3：验证
　　
Solr在 Tomcat里，所以启动Tomcat即可，建议初期用bootstrap.jar,方便发现配置中的错误，如
　　进入目录/home/tomcat/bin ,然后敲入 java -jar bootstrap.jar即可运行，不报错的话就可以正常访问了
　　http://127.0.0.1:8983/solr/ 或者http://localhost:8983/solr/admin/
　　
[Solr分词顺序]
　　Solr建立索引和对关键词进行查询都得对字串进行分词，在向索引库中添加全文检索类型的索引的时候，Solr会首先用空格进行分词，然后把分词结果依次使用指定的过滤器进行过滤，最后剩下的结果才会加入到索引库中以备查询。分词的顺序如下：
　　索引
　　1：空格whitespaceTokenize
　　2：过滤词StopFilter
　　3：拆字WordDelimiterFilter
　　4：小写过滤LowerCaseFilter
　　5：英文相近词EnglishPorterFilter
　　6：去除重复词RemoveDuplicatesTokenFilter