设为首页 收藏本站
查看: 1064|回复: 0

[经验分享] Solr 数据导入 <一>DIH简单使用

[复制链接]

尚未签到

发表于 2016-12-16 06:42:18 | 显示全部楼层 |阅读模式
  使用DataImportHandler进行简单数据导入还是比较有效的,特别是DIH中针对简单的数据库表,可以把完全导入和增量导入合并成一个语句,非常方便。我的使用方式如下所示
  1。配置schema
Xml代码 DSC0000.png


  • <requestHandlername="/dataimport"class="org.apache.solr.handler.dataimport.DataImportHandler">
  • <lstname="defaults">
  • <strname="config">/home/tomcat/bin/solr/conf/data-config.xml</str>
  • </lst>
  • </requestHandler>

  2.添加data-config文件
  data-config.xml
Xml代码


  • <dataConfig>
  • <dataSourcetype="JdbcDataSource"
  • driver="com.mysql.jdbc.Driver"
  • url="jdbc:mysql://127.0.0.1/db"
  • user="root"
  • password="pass"
  • batchSize="-1"/>
  • <document>
  • <entityname="id"pk="id"
  • query="selectid,username,text,catfromhotwhere'${dataimporter.request.clean}'!='false'ORtimestamp>'${dataimporter.last_index_time}'">
  • <fieldcolumn="id"name="id"/>
  • <fieldcolumn="text"name="text"/>
  • <fieldcolumn="username"name="username_s"/>
  • <fieldcolumn="cat"name="cat_t"/>
  • </entity>
  • </document>
  • </dataConfig>

  3.让DIH周期性的运行
  修改dataimport.properties文件,这个是自动生成的,同在solr/conf下,添加参数
  interval 间隔时间 单位 分钟
  syncEnabled=1 打开周期运行
  params 其实就是具体调用的url,周期运行就是周期性的访问一个url
Java代码


  • #WedDec2809:29:42UTC2011
  • port=8983
  • interval=5
  • last_index_time=2011-12-2809\:29\:26
  • syncEnabled=1
  • webapp=solr
  • id.last_index_time=2011-12-2809\:29\:26
  • server=127.0.0.1
  • params=/select?qt\=/dataimport&command\=full-import&clean\=false&commit\=true&optimize\=false

  到此还并不能周期运行,在solr的wiki中有一段实现这个功能的代码,但并没有加入到solr的发行包中,于是我们需要重新编译这段代码,打包放到webapp/solr/WEB-INF/lib中才行
Xml代码


  • <web-app>
  • <listener>
  • <listener-class>org.apache.solr.handler.dataimport.scheduler.ApplicationListener</listener-class>
  • </listener>
  • ...
  • </web-app>
  

  apache-solr-dataimporthandler-scheduler.jar下载见原文链接:http://martin3000.iyunv.com/blog/1328833

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-314791-1-1.html 上篇帖子: solr 1.3 更多扩展点 下篇帖子: solr查询参数使用说明
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表