设为首页 收藏本站
查看: 985|回复: 0

[经验分享] elasticsearch中文分词

[复制链接]

尚未签到

发表于 2019-1-29 08:01:23 | 显示全部楼层 |阅读模式
两个中文分词插件,一个是ik的,一个是mmseg的,下面分别介绍下两者的用法,其实都差不多的,先安装插件,命令行:
  安装ik插件:

plugin -install medcl/elasticsearch-analysis-ik/1.1.0  下载ik相关配置词典文件到config目录
cd config wget http://github.com/downloads/medcl/elasticsearch-analysis-ik/ik.zip --no-check-certificate unzip ik.zip rm ik.zip  安装mmseg插件:
bin/plugin -install medcl/elasticsearch-analysis-mmseg/1.1.0   下载相关配置词典文件到config目录
cd config wget http://github.com/downloads/medcl/elasticsearch-analysis-mmseg/mmseg.zip --no-check-certificate unzip mmseg.zip rm mmseg.zip   分词配置
ik分词配置,在elasticsearch.yml文件中加上
index:   analysis:                        analyzer:             ik:           alias: [ik_analyzer]           type: org.elasticsearch.index.analysis.IkAnalyzerProvider  
index.analysis.analyzer.ik.type : “ik”  这两句的意义相同
  mmseg分词配置,也是在在elasticsearch.yml文件中

index:   analysis:     analyzer:       mmseg:           alias: [news_analyzer, mmseg_analyzer]           type: org.elasticsearch.index.analysis.MMsegAnalyzerProvider   
index.analysis.analyzer.default.type : "mmseg"   mmseg分词还有些更加个性化的参数设置如下
index:   analysis:     tokenizer:       mmseg_maxword:           type: mmseg           seg_type: "max_word"       mmseg_complex:           type: mmseg           seg_type: "complex"       mmseg_simple:           type: mmseg           seg_type: "simple"   这样配置完后插件安装完成,启动es就会加载插件。
定义mapping
在添加索引的mapping时就可以这样定义分词器
{    "page":{       "properties":{          "title":{             "type":"string",             "indexAnalyzer":"ik",             "searchAnalyzer":"ik"          },          "content":{             "type":"string",             "indexAnalyzer":"ik",             "searchAnalyzer":"ik"          }       }    } }  indexAnalyzer为索引时使用的分词器,searchAnalyzer为搜索时使用的分词器。
java mapping代码如下:
XContentBuilder content = XContentFactory.jsonBuilder().startObject()         .startObject("page")           .startObject("properties")                    .startObject("title")               .field("type", "string")                          .field("indexAnalyzer", "ik")               .field("searchAnalyzer", "ik")             .endObject()              .startObject("code")               .field("type", "string")                        .field("indexAnalyzer", "ik")               .field("searchAnalyzer", "ik")             .endObject()                .endObject()          .endObject()        .endObject()  定义完后操作索引就会以指定的分词器来进行分词。

附:
ik分词插件项目地址:https://github.com/medcl/elasticsearch-analysis-ik
mmseg分词插件项目地址:https://github.com/medcl/elasticsearch-analysis-mmseg
如果觉得配置麻烦,也可以下载个配置好的es版本,地址如下:https://github.com/medcl/elasticsearch-rtf




运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-668919-1-1.html 上篇帖子: elasticsearch基础操作01 下篇帖子: ELKStack实战之Elasticsearch环境准备
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表