solr4.9之配置中文分词smartcn

吸毒的虫子

solr4.3默认的分词器是一元分词器，这个本来就是对英文进行分词的，英文大部分就是典型的根据空格进行分词，而中文如果按照这个规则，那么显然是要有很多的冗余词被分出来，一些没有用的虚词，数词，都会被分出来，影响效率不说，关键是分词效果不好，所以可以利用solr的同步发行包smartcn进行中文切词，smartcn的分词准确率不错，但就是不能自己定义新的词库，不过smartcn是跟solr同步的，所以不需要额外的下载，只需在solr的例子中拷贝进去即可，下面给出路径图和安装solr4.3的smartcn分词过程
无论安装那种分词器，大部分都有2个步骤，第一步是拷贝jar包到solr的lib中



Java代码  

• C:\桌面\solr-4.3.0\contrib\analysis-extras\lucene-libs  
  
• F:\eclipse10tomcat\webapps\solr\WEB-INF\lib  
  
• smartcn的同步发行包:lucene-analyzers-smartcn-4.3.0.jar  
  

这个弄好之后，就需要在schemal.xml文件中，注册分词器了



Java代码  

• <fieldType name=&quot;text_smart&quot; class=&quot;solr.TextField&quot; positionIncrementGap=&quot;100&quot;>  
  
•       <analyzer type=&quot;index&quot;>  
  
•        <!-- 此处需要配置主要的分词类 -->  
  
•         <tokenizer class=&quot;solr.SmartChineseSentenceTokenizerFactory&quot;/>  
  
•         <!--   
  
•         <filter class=&quot;solr.StopFilterFactory&quot; ignoreCase=&quot;true&quot; words=&quot;stopwords.txt&quot; enablePositionIncrements=&quot;true&quot; />  
  
•         <filter class=&quot;solr.LowerCaseFilterFactory&quot;/>   
  
•         -->  
  
•         <!-- in this example, we will only use synonyms at query time  
  
•         <filter class=&quot;solr.SynonymFilterFactory&quot; synonyms=&quot;index_synonyms.txt&quot; ignoreCase=&quot;true&quot; expand=&quot;false&quot;/>  
  
•       -->  
  
•          
  
•         <filter class=&quot;solr.SmartChineseWordTokenFilterFactory&quot;/>  
  
•             
  
•       </analyzer>  
  
•       <analyzer type=&quot;query&quot;>  
  
•       <!-- 此处配置同上 -->  
  
•         <tokenizer class=&quot;solr.SmartChineseSentenceTokenizerFactory&quot;/>  
  
•             <!--   
  
•         <filter class=&quot;solr.StopFilterFactory&quot; ignoreCase=&quot;true&quot; words=&quot;stopwords.txt&quot; enablePositionIncrements=&quot;true&quot; />  
  
•         <filter class=&quot;solr.SynonymFilterFactory&quot; synonyms=&quot;synonyms.txt&quot; ignoreCase=&quot;true&quot; expand=&quot;true&quot;/>  
  
•         <filter class=&quot;solr.LowerCaseFilterFactory&quot;/>  
  
•         -->  
  
•         <filter class=&quot;solr.SmartChineseWordTokenFilterFactory&quot;/>  
  
•            
  
•       </analyzer>  
  
•     </fieldType>  
  

最后在引用一下字段类型就可以了


Java代码  

• <field name=&quot;sma&quot; type=&quot;text_smart&quot; indexed=&quot;true&quot; stored=&quot;true&quot; multiValued=&quot;true&quot;/>  
  

　　访问http://localhost:8080/solr/#/collection1点击分词分析即可查看分词效果