设为首页 收藏本站
查看: 1084|回复: 0

[经验分享] 基于tomcat的solr环境搭建(Linux)

[复制链接]

尚未签到

发表于 2017-12-19 15:30:38 | 显示全部楼层 |阅读模式
  ♥♥  solr是基于lucene的一个全文检索服务器,提供了一些类似webservice的API接口,用户可以通过http请求solr服务器,进行索引的建立和索引的搜索。
  索引建立的过程:用户提交的文本会经过分词器进行分词,分词后的关键字会存到索引库里,索引库是关键字和目标文档的映射集。
  索引搜索的过程:用户提交的搜索文本也是会经过分析器,得到的关键字会去索引库查询对应的目标文档并返回给客户端,采用的是权重排序算法。
  solr和lucene的区别:lucene是一些搜索工具包,任何应用可以引进这些jar包实现自己的搜索引擎系统,而solr是基于lucene的,封装好的搜索引擎系统。lucene需要自己维护索引文件。
  solr几个重要的配置文件:solrconfig、schema.xml数据库配置文件、data-config(自定义,用于数据从数据库导入到solr)
  

Lucene专注于搜索底层的建设,而Solr专注于企业应用。  

  1.solr的安装
DSC0000.jpg

  2.中文分词器的安装
DSC0001.jpg

  配置信息:
  

<!--中文分词器 -->  <fieldType name="text_ik">
  <analyzer type="query" isMaxWordLength="true" />
  <analyzer type="index" isMaxWordLength="false" />
  </fieldType>
  

  3.1 DIH全量同步
DSC0002.jpg

  相关配置信息:
  

<!-- 数据导入配置 -->  <requestHandler name="/dataimport">
  <lst name="defaults">
  <str name="config">data-config.xml</str>
  </lst>
  </requestHandler>
  

  3.2
DSC0003.jpg

  相关配置信息:
  3.3 schema.xml同步字段配置
DSC0004.jpg

  相关配置信息:
  

   <!-- 同步mysql爬虫表的字段 -->  <field name="create_date" type="date" indexed="true" stored="true"/>
  <field name="update_date" type="date" indexed="true" stored="true"/>
  <field name="news_url" type="text_general" indexed="true" stored="true"/>
  <field name="news_origin" type="text_general" indexed="true" stored="true"/>
  <field name="key_word" type="text_general" indexed="true" stored="true"/>
  <field name="news_html" type="text_ik" indexed="true" stored="true"/>
  <field name="is_publish" type="int" indexed="true" stored="true"/>
  <field name="is_del" type="int" indexed="true" stored="true"/>
  <field name="flag_number" type="text_general" indexed="true" stored="true"/>
  <field name="out_line" type="text_ik" indexed="true" stored="true"/>
  <field name="state" type="int" indexed="true" stored="true"/>
  <!-- 同步mysql爬虫表的字段end -->
  

  4.1DIH的增量同步(其实就是修改data-config.xml配置文件)
DSC0005.jpg

DSC0006.jpg

  相关配置信息:
  

<dataConfig>  <dataSource driver="com.mysql.jdbc.Driver" url="jdbc:mysql://192.168.40.1:3306/shanghang" user="root" password="root" />
  <document>

  <entity name="consensus_data2" pk="id" transformer="DateFormatTransformer"  query="select * from consensus_data2 where>
  deltaImportQuery="select * from consensus_data2 where>
  deltaQuery="select>  <field column="id" name="id" />
  <field column="create_date" name="create_date" dateTimeFormat='yyyy-MM-dd HH:mm:ss'/>
  <field column="update_date" name="update_date" dateTimeFormat='yyyy-MM-dd HH:mm:ss' />
  <field column="news_url" name="news_url" />
  <field column="news_origin" name="news_origin" />
  <field column="keyWord" name="key_word" />
  <field column="news_html" name="news_html" />
  <field column="is_publish" name="is_publish" />
  <field column="is_del" name="is_del" />
  <field column="flag_number" name="flag_number" />
  <field column="out_line" name="out_line" />
  <field column="state" name="state" />
  </entity>
  </document>
  
</dataConfig>
  

DSC0007.jpg

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-425737-1-1.html 上篇帖子: solr集群搭建,zookeeper集群管理 下篇帖子: HBASE+Solr实现详单查询--转
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表