【apache solr系列】jcseg与pinyinTokenFilter实现中文缩写查找

edccfw

　　转载请注明：http://blog.iyunv.com/weijonathan/article/details/40504029
　　今天要写的是关于分词查询的。
　　我们先来看下下面这张图



　　应该说很多做搜索的系统都会涉及到的一个话题；中文缩写搜索，当你输入相应的中文缩写的时候，会给你提示相应的中文词组
　　而现在网上各式各样的文章都没有多少能真正介绍如何实现的。经过前阵子的研究，我这边整理一个我自己研究的效果，
　　先来看下相关插件以及下载地址：
　　jcseg下载地址及官网
　　下载地址:http://git.oschina.net/lionsoul/jcseg


　　官网地址：https://code.google.com/p/jcseg/


　　pinyinTokenFilter插件地址：
　　https://github.com/Jonathan-Wei/pinyinTokenFilter
　　jsceg是一个中文分词器，而pinyinTokenFilter是一个pinyin过滤器。
　　1、下载jcseg后解压，将jcseg\output目录中的jar包拷贝到solr的安装目录下
　　2、将jcseg的lexicon分词库放到apache-tomcat-7.0.53\webapps\solr\WEB-INF\classes目录下并配置lexicon.path路径
　　1）、jcseg默认的lexicon.path也就是分词词库的位置是在solr发布项目的lib目录；所以可以选择将压缩包中的lexicon目录拷贝到lib包底下
　　2）、配置lexicon.path配置到你指定的词库目录
　　疑问：
　　这里可能大家会问我为什么不用ik，原因是在Solr4.0发布以后，官方取消了BaseTokenizerFactory接口，而直接使用Lucene Analyzer标准接口。因此IK分词器2012 FF版本也取消了org.wltea.analyzer.solr.IKTokenizerFactory类。所以IK无法配置fliter节点；配置了之后启动tomcat直接就报错了；具体错误内容大家可以自己试验下，我这里就不具体展开了！
　　3、下载pinyinTokenFilter，（这个插件我做了一点修改，作者当前的项目存在bug，修改的内容不多，大家可以看我github上的提交修改内容）配置schame.xml添加以下配置
　　

<fieldType name=&quot;text_pinyin&quot; class=&quot;solr.TextField&quot;>
<analyzer type=&quot;index&quot;>
<tokenizer class=&quot;org.lionsoul.jcseg.solr.JcsegTokenizerFactory&quot; mode=&quot;complex&quot;/>
<filter class=&quot;me.dowen.solr.analyzers.PinyinTransformTokenFilterFactory&quot;
isOutChinese=&quot;true&quot; firstChar=&quot;true&quot; minTermLength=&quot;1&quot;/>
<!--<filter class=&quot;me.dowen.solr.analyzers.PinyinTransformTokenFilterFactory&quot;
isOutChinese=&quot;true&quot; firstChar=&quot;false&quot; minTermLength=&quot;1&quot;/>-->
<filter class=&quot;solr.StopFilterFactory&quot; ignoreCase=&quot;true&quot;
words=&quot;stopwords.txt&quot; />
<filter class=&quot;solr.LowerCaseFilterFactory&quot; />
<filter class=&quot;solr.RemoveDuplicatesTokenFilterFactory&quot;/>
</analyzer>
<analyzer type=&quot;query&quot;>
<tokenizer class=&quot;org.lionsoul.jcseg.solr.JcsegTokenizerFactory&quot; mode=&quot;complex&quot;/>
<filter class=&quot;solr.SynonymFilterFactory&quot; synonyms=&quot;synonyms.txt&quot;
ignoreCase=&quot;true&quot; expand=&quot;true&quot; />
<filter class=&quot;solr.StopFilterFactory&quot; ignoreCase=&quot;true&quot;
words=&quot;stopwords.txt&quot; />
<filter class=&quot;solr.LowerCaseFilterFactory&quot; />
</analyzer>
</fieldType>这里注意下，这个插件支持拼音全拼以及缩写，但是当配置缩写和全频一起使用的时候，貌&#20284;不大好使。所以我这里也只配置了一个缩写，让大伙看看效果；　　
　　看下参数的一些说明：
　　isOutChinese：是否保留原输入中文词元。可选&#20540;：true(默认)/false


　　firstChar：输出完整拼音&#26684;式还是输出简拼。简拼输出是由原中文词元的各单字的拼音结果的首字母组成的。可选&#20540;：true(默认)/false


　　minTermLength：仅输出字数大于或等于minTermLenght的中文词元的拼音结果。默认&#20540;为2。


　　接下来看下solr中的分析结果：



这里大伙可以看到，“猩球崛起“缩写被分为x,xq,xqj,xqjq，当你输入这4个缩写的时候它就会给你提示包含&quot;猩球崛起&quot;的内容；
　　接下来看下我们查询结果：

　　可以看到，我输入xqj进行查询，是可以查到猩球崛起这个内容的。这里猩球崛起是一个词语，jcseg是支持自定义词库的，所以这里我配置了自己的一个简单的词库；
　　pinyinTokenFilter这个插件，如果不配合其他分词器使用的话，用插件README里面的方法进行测试，你是会看到你输入的单词会被分为一个个单字的词。README中使用的是
　　

<tokenizer class=&quot;solr.StandardTokenizerFactory&quot; />pinyinTokenFilter这个插件还有不完全的地方，所以大伙使用过程中有什么问题可以提下，我也跟踪一下。谢谢。　　
　　


　　


　　



版权声明：本文为博主原创文章，未经博主允许不得转载。