设为首页 收藏本站
查看: 1236|回复: 0

[经验分享] (solr系列:四)将mysql数据库中的数据导入到solr中及删除solr中导入的数据

[复制链接]

尚未签到

发表于 2018-11-1 11:31:06 | 显示全部楼层 |阅读模式
  在前面的博文中,已完成了在tomcat中对solr的部署,为solr添加了一个自定义的core,并且引入了ik分词器。
  那么该如何将本地的mysql的数据导入到solr中呢?
  准备工作:
  1、mysql数据源:myuser库中的user表(8条数据),其中这个updateTime字段是用于solr更新数据库数据的依据,表中必须得有这个字段。
/*  
Navicat MySQL Data Transfer
  

  
Source Server         : localhost
  
Source Server Version : 50521
  
Source Host           : localhost:3306
  
Source Database       : user
  

  
Target Server Type    : MYSQL
  
Target Server Version : 50521
  
File Encoding         : 65001
  

  
Date: 2016-10-21 10:14:01
  
*/
  

  
SET FOREIGN_KEY_CHECKS=0;
  

  
-- ----------------------------
  
-- Table structure for user
  
-- ----------------------------
  
DROP TABLE IF EXISTS `user`;
  
CREATE TABLE `user` (
  
  `id` int(11) NOT NULL AUTO_INCREMENT,
  
  `name` varchar(255) NOT NULL,
  
  `password` varchar(255) NOT NULL,
  
  `updateTime` datetime DEFAULT NULL,
  
  PRIMARY KEY (`id`)
  
) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=utf8;
  

  
-- ----------------------------
  
-- Records of user
  
-- ----------------------------
  
INSERT INTO `user` VALUES ('1', '张三', 'abc', '2016-10-21 10:10:58');
  
INSERT INTO `user` VALUES ('2', '李四', 'def', '2016-10-21 10:10:58');
  
INSERT INTO `user` VALUES ('3', '王五', 'ghi', '2016-10-21 10:10:58');
  
INSERT INTO `user` VALUES ('4', '赵六', 'jkl', '2016-10-21 10:10:58');
  
INSERT INTO `user` VALUES ('5', '田七', 'mno', '2016-10-21 10:10:58');
  
INSERT INTO `user` VALUES ('6', '老八', 'pqr', '2016-10-21 10:10:58');
  
INSERT INTO `user` VALUES ('7', '金九', 'stu', '2016-10-21 10:10:58');
  
INSERT INTO `user` VALUES ('8', '银十', 'vwx', '2016-10-21 10:10:58');
  2、数据源配置文件:新建文件:data-config.xml,文件内容如下
  
  
  
  
  
  
  
  
  
  

  3、mysql驱动jar包和solr导入数据所需的jar包:mysql-connector-java-5.1.32.jar(这个大家都有) 和 solr-dataimporthandler-4.10.2.jar(这个在solr-4.10.2\dist目录下可以找到,复制出来一个即可)
  ====================================================================================
  准备工作完成之后就可以进行配置和操作了。
  步骤一:将刚才准备的那两个jar包复制到apache-tomcat-7.0.72\webapps\solr\WEB-INF\lib目录下。
  步骤二:将准备的data-config.xml文件复制到solrhome\simple\conf目录下,和schema.xml同一目录。
  步骤三:在solrhome\simple\conf目录下找到solrconfig.xml文件,为该文件添加如下内容:

  
  data-config.xml
  
  
  
  步骤四:在solrhome\simple\conf目录下找到schema.xml文件,打开并修改如下:
  

  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  id
  
  

  步骤四:启动tomcat,浏览器访问:locahost:8080/solr 原来的simple中数没有任何数据的。
DSC0000.png

  步骤五:导入mysql数据到solr中
DSC0001.png

  再次查看数据,如果显示如下,那么恭喜你,数据导入成功!
DSC0002.png

  =====================================================================================
  如果想删除solr中导入的数据该如何操作,一上图就……了然 DSC0003.gif
DSC0004.png xml命令:

  1、根据查询删除:删除所有数据
*:*  

  当然,上面说的是手动删除,如果要删除的数据很多,想在下一次自动同步数据的时候自动删除指定的数据该如何做呢?
  场景:有一批要拍卖的店铺数据存储在solr中,拍卖的店铺数据有一个拍卖结束时间(endTime),当拍卖结束时间一到,这条存储在solr中的拍卖数据就没有意义了,想要删除这条存储在solr中的数据。
  按照上面的手动删除也不是不可以,但这人工操作未免太扯了,到时间人工去solr中删除这条数据耗时又耗力,也不太现实。
  解决办法就是:
  在data-config.xmlentity中添加:
deletedPkQuery="select id from shops  where endTime < NOW()"  这一句,这句和entiy的query同级,目的是查询出所有店铺数据中结束时间小于当前时间的店铺id,
  这个店铺id会和deltaQuery中收集到的id一并执行deltaImportQuery操作,只不过一个是添加数据,一个是删除数据。
  如果是其他业务场景也可以借鉴下这篇博客中在表中添加isdelete字段的方式完成删除,其实只要有一个字段能够标识就行:
  参考地址:http://simplelife.blog.51cto.com/9954761/1883024



运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-629332-1-1.html 上篇帖子: (solr系列:三)如何在solr中添加ik分词器 下篇帖子: (solr系列:五) solr定时实时重建索引和增量更新
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表