solr6.4.1搜索引擎(3)增量同步mysql数据库

苏童

solr6.4.1搜索引擎(3)增量同步mysql数据库
尚未实现首次同步mysql数据库的，请参考我的另一篇文章http://www.cnblogs.com/zhuwenjoyce/p/6512378.html（solr6.4.1搜索引擎同步mysql数据库） 过时的类在solr6.4.1版本中，已无HttpSolrServer这个类，但是有SolrClient类，也无SolrServer这个类，取而代之的是EmbeddedSolrServer类，但即使EmbeddedSolrServer类也是继承自SolrClient类，所以网上所有能查到对这些类进行描述的文章都已过时。话说就在这一两天研究solr期间，solr6.4.2版本已在3月6号发布了~~呃~~看solr-solrj-6.4.1的源码，SolrClient从solr5.0版本开始代替SolrServer: solr6.4.1在线API，可以查看所有的类：http://lucene.apache.org/solr/6_4_1/solr-core/allclasses-noframe.html solr管理界面增量导入mysql数据库在浏览器管理界面，首先当然是选择一个core,我这里选择core3 选择core3下的Dataimport菜单 首先当然是校验db-data-config.xml配置文件是否正确，点击Reload按钮（如下图），当显示No information available时，表示配置文件无异常，当然这次不要选择full-import(全量导入)，选择delta-import(增量导入)，千万别选择Clean，因为会致使原有导入数据索引全部清空，然后只做更新部分的数据导入，如果此次只更新了一条数据，那么你的solr此core里就变成了仅有一条数据！可以选择Commit，我现在对于这个选项的理解是：把内存中的索引文件fsync到磁盘，并创建一个index descriptor。这里比较耗费机器资源。这样即使jvm崩溃或者宕机，也不影响这部分索引。（参考http://blog.sina.com.cn/s/blog_6277623c0102v40x.html）可以选择Optimize，optimize到底干了什么？ 该如何使用？（参考http://blog.csdn.net/java_zys/article/details/52372635）查资料才发现，optimize其实是个很重量级的操作，执行optimize操作后solr会进行索引数据的合并来优化查询性能，如果索引数据很大，optimize则会花费很多的时间，如果你在批量提交文档后每次都进行optimize操作，无疑提交速度会越来越慢，最后甚至导致solr不再响应你的提交请求。另外，如果你的服务是主从模式，那么对master的optimize还会导致整个索引块同步到replica上，影响就更加可想而知了。optimize操作可以优化查询性能，所以还是有用的，可以在服务不忙的时候在solr自带的控制台手动执行optimize操作，也可以写个定时任务来完成。 增量导入注意事项大家可以看到在上图中，entity标签里，query属性的select语句与deltaQuery属性的select语句是不一样的，差异在于多了一个where modify_date > '${dataimporter.last_index_time}'.这是因为solr每次在全量导入时或者增量导入结束时，都会在solrhome\conf\dataimport.properties文件中为每一个entity更新一个导入时间标志，我本地截图如下： 这个配置文件里的属性对象可以在db-data-config.xml里以${}占位符方式填充数值。重点1：所以在执行deltaQuery时，只会导入数据满足为：modify_date > '${dataimporter.last_index_time}'，以此实现增量导入。否则就是全量导入！！！重点2：在deltaQuery语句中，select字段一定要加上你想更新到索引的字段，否则默认不导入为索引！！ solr浏览器管理界面增加索引数据solr也支持在浏览器管理界面增加索引数据，但此类增加并不会同步到mysql数据库中去，要使它同步，好像也是可以的，就是设置起来比较复杂，而且还需要考虑性能方面。选择core3，点击Documents菜单： 在Document(s)输入框里输入要增加的索引数据（可同时增加多个），注意，这里的数据格式一定要与Document Type输入框里的数据类型保持一致，至于/update则来源于默认的solrconfig.xml配置文件，该文件的requestHandler标签定义了这些行为，比如/select /update 你也可以自定义一些其他标签。 执行Submit Document按钮之后，solr服务器响应结果如下： status：0 表示索引插入操作执行成功。QTime 的执行单位是毫秒ms。 其它以java代码使用solrJ-api接口也是可以导入索引的，这个另外文章再介绍。　　posted on 2017-03-10 10:44 梦幻朵颜 阅读(...) 评论(...)  编辑 收藏