设为首页 收藏本站
查看: 1151|回复: 0

[经验分享] solr服务中集成IKAnalyzer中文分词器、集成dataimportHandler插件

[复制链接]
发表于 2017-12-19 18:06:11 | 显示全部楼层 |阅读模式
  昨天已经在Tomcat容器中成功的部署了solr全文检索引擎系统的服务;今天来分享一下solr服务在海量数据的网站中是如何实现数据的检索。
  在solr服务中集成IKAnalyzer中文分词器的步骤:
  1、下载IKAnalyzer分词器的压缩包并解压;
   DSC0000.png
  2、将IKAnalyzer压缩包中的jar包复制到Tomcat容器中已经部署的solr项目中的WEB-INF/lib目录下;
   DSC0001.png
  3、在Tomcat容器的solr项目中的WEB-INF/目录创建一个classes目录(默认该目录是不存在的,需手动创建),并将分词器压缩包中的配置文件、自定义词典、通用词典三个文件拷贝到classes目录中;
   DSC0002.png
  4、找到solr的家目录,即solrHome目录,修改solrHome/collection1/conf/schema.xml文件中定义IK域的类型、定义自定义域配置内容;
  

  <!-- IKAnalyzer-->  
<fieldType name="text_ik">
  
<analyzer/>
  
</fieldType>
  

  
<!--IKAnalyzer Field-->
  
<field name="content_ik" type="text_ik" indexed="true" stored="true" />
  

  5、重新启动Tomcat容器,检验是否配置成功,如果出现以下界面中的内容,则集成成功,可以看到我们刚才在solrHome的配置文件中配置的自定义域和IK域的类型。
DSC0003.png

  使用dataimportHandler插件批量导入数据,在solr服务中集成dataimportHandler插件的步骤:
  1、找到solrHome/collection1目录,创建一个lib目录,将插件所依赖的jar包和数据库驱动包拷贝到lib目录下(dataimportHandler插件依赖的jar包可以在下载好的solr压缩包中找到);
  插件依赖的jar包在dist目录下:
   DSC0004.png
   DSC0005.png
  2、找到solrHome/collection1/conf/solrconfig.xml文件,添加如下配置内容:
  

  <requestHandler name="/dataimport">  
<lst name="defaults">
  
<str name="config">data-config.xml</str>
  
</lst>
  
</requestHandler>
  

  3、根据创建的数据表在solrHome/collection1/conf/schema.xml配置文件中配置业务域(温馨提示:业务域根据数据表的字段名称来配置);
  

   <!--product-->  
<field name="product_name" type="text_ik" indexed="true" stored="true"/>
  
<field name="product_price"  type="float" indexed="true" stored="true"/>
  
<field name="product_description" type="text_ik" indexed="true" stored="false" />
  
<field name="product_picture" type="string" indexed="false" stored="true" />
  
<field name="product_catalog_name" type="string" indexed="true" stored="true" />
  

  
<field name="product_keywords" type="text_ik" indexed="true" stored="false" multiValued="true"/>
  
<copyField source="product_name" dest="product_keywords"/>
  
<copyField source="product_description" dest="product_keywords"/>
  

  4、需要创建一个文件名称为data-config.xml的配置文件,并且拷贝到solrHome/collection1/conf目录下;data-config.xml文件中的配置内容如下(温馨提示:根据自己的需求的来添加配置内容,如数据库连接的参数信息,数据库中表字段的名称等):
  

<?xml version="1.0" encoding="UTF-8" ?>  
<dataConfig>
  
<dataSource type="JdbcDataSource"   
  
driver="com.mysql.jdbc.Driver"   
  
url="jdbc:mysql://localhost:3306/solr"   
  
user="root"   
  
password="123"/>
  
<document>
  <!-- column代表数据表中的字段名称,name代表配置文件中的业务域的name属性值名称 -->
  
<entity name="product" query="SELECT pid,name,catalog_name,price,description,picture FROM products ">
  
<field column="pid" name="id"/>
  
<field column="name" name="product_name"/>
  
<field column="catalog_name" name="product_catalog_name"/>
  
<field column="price" name="product_price"/>
  
<field column="description" name="product_description"/>
  
<field column="picture" name="product_picture"/>
  
</entity>
  
</document>
  
</dataConfig>
  

  5、重启Tomcat容器,检验插件是否集成成功,如果集成成功,则会看到如下界面,看到成功界面后,就可以导入指定数据表中的数据,导入操作在下图中已表明:
DSC0006.png

[后续会更新京东站内搜索-solr架构案例,有需要的朋友可以继续关注!!!]

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-425781-1-1.html 上篇帖子: 记录CentOS环境下将Solr部署到Tomcat 下篇帖子: 在ssh中利用Solr服务建立的界面化站内搜索
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表