SOLR配置默认的一元分词与安装主流的中文分词扩展

lijm1522

引言：SOLR用的好不好，分词是关键，分词分的好不好，词库是关键。没有完美的分词和词库，只有更适合你网站的分词和词库。

目前网络上主流的SOLR分词模块：

1、庖丁分词：PAODING 参考地址：http://code.google.com/p/paoding/

2、老牌的mmseg4j 参考地址：http://code.google.com/p/mmseg4j/ 这个分词应用非常广泛，支持三种分词类型。

3、IKAnalyzer分词 参考地址：http://code.google.com/p/ik-analyzer/ 本例使用此分词模块。

4、StandardAnalyzer、ChineseAnalyzer、CJKAnalyzer、IK_CAnalyzer、MIK_CAnalyzer、MMAnalyzer（JE分词）等，参考文档：http://blog.csdn.net/chaocy/article/details/5938741

SOLR安装IKANALYZER 2012

下载ikanalayzer2012 地址：http://code.google.com/p/ik-analyzer/downloads/list
本例使用版本为：IKAnalyzer2012_u5.zip
unzip解压到目录IKAnalyzer2012
cd IKAnalyzer2012
cp IKAnalyzer2012.jar TOMCAT/webapps/solr/WEB-INF/lib

SOLR 配置 IKAnalyzer 2012

打开/opt/solr/example/solr/conf/，其中有两个关键文件schema.xml，该文件是配置当前搜索项目的索引结构，另一个是sorlconfig.xml，该文件用于配置SOLR的一些引用接口和调用方案的，具体内容后续详谈。

打开schema.xml
在<types></types>中添加代码：


01<!-- IKAnalyzer2012 中文分词-->
02<fieldType name="text_ika" class="solr.TextField">
03<analyzer type="index">
04<tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory"  isMaxWordLength="false"/>
05<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
06<filter class="solr.LowerCaseFilterFactory"/>
07</analyzer>
08<analyzer type="query">
09<tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" isMaxWordLength="true"/>
10<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
11<filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
12<filter class="solr.LowerCaseFilterFactory"/>
13</analyzer>
14</fieldType>

该代码片段声明了一种搜索类型叫：text_ika，

在<fields></fields>中添加片段：
1<field name="thread_title" type="text_ika" indexed="true" stored="true" multiValued="false" />

我们声明了thread_title字段使用text_ika分词，并声明该字段是可以被索引的indexed="true",并且需要存储索引内容stored="true"，结果为单一结果，非多个字段组合结果multiValued="false"

重新启动TOMCAT，在浏览器中打开admin地址http://localhost:8080/solr/admin/analysis.jsp?highlight=on
如下输入：


查看分词结果：




这就是调用IKAnalyzer2012扩展，分词的结果了，是不是很神奇。

出处：http://blog.duteba.com/technology/article/65.htm