设为首页 收藏本站
查看: 929|回复: 0

[经验分享] solr DB 实现增量索引

[复制链接]

尚未签到

发表于 2016-12-15 10:22:36 | 显示全部楼层 |阅读模式
1.增量索引实现原理:
     Solr提供了delta-import导入方式。
     所谓delta-import主要是对于数据库(也可能是文件等等)中增加或者被修改的字段进行导入。主要原理是利用率每次我们进行import的时候在solr.home\conf下面生成的dataimport.properties文件,此文件里面有最近一次导入的相关信息。这个文件如下:

1.  #Wed Apr 21 16:48:27 CST 2010
2.  last_index_time=2010-04-21 16\:48\:24
3.  id.last_index_time=2010-04-21 16\:48\:24


其实last_index_time是最近一次索引(full-import或者delta-import)的时间。
通过比较这个时间和我们数据库表中的timestamp列即可得出哪些是之后修改或者添加的。
2.配置步骤
1)配置好请求处理器。(这个见我的上一篇文章)
2)修改data-config.xml如下:      
    注意entity标签的参数:
    deltaImportQuery
    仅适用于delta-import的参数。DIH会检查数据库中的最后修改时间是否与我们
    deltaQuery 更新updateTime查询出更新记录,然后deltaImportQuery 获取记录,dataimporter.delta.id 来自于deltaQuery 中id字段
3)最后我们请求:
http://:/solr/dataimport?command=delta-import 即可完成delta import
    相关参数如下:
     entity
    entity是document下面的标签(data-config.xml)。使用这个参数可以有选择的执行一个或多个entity   。使用多个entity参数可以使得多个entity同时运行。如果不选择此参数那么所有的都会被运行。
     clean
    选择是否要在索引开始构建之前删除之前的索引,默认为true
    commit
    选择是否在索引完成之后提交。默认为true
    optimize
    是否在索引完成之后对索引进行优化。默认为true
    debug
    是否以调试模式运行,适用于交互式开发(interactive development mode)之中。
     请注意,如果以调试模式运行,那么默认不会自动提交,请加参数“commit=true”
4)测试增量效果
     更新db数据:
     update  ap_spu_info set  spu_modified_date = now (),spu_name='newjay'
     where spu_id >= 7558 and spu_id <= 7558 and spu_id
     发送增量更新索引请求:http://localhost:8888/solr/dataimport?command=delta-import
     查询索引请求:http://localhost:8888/solr/admin/
DSC0000.jpg
     Query String 中输入 pid:[7558 TO 200000]
DSC0001.jpg

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-314643-1-1.html 上篇帖子: lucene solr配置,集成到struts中 下篇帖子: Solr索引数据同步ReplicationHandler
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表