使用Solr Data Import的delta-import功能

kingforce

使用Solr Data Import的delta-import功能

     　　Solr提供了full-import和delta-import两种导入方式，这篇文章主要讲解后者。
　　所谓delta-import主要是对于数据库（也可能是文件等等）中增加或者被修改的字段进行导入。主要原理是利用率每次我们进行import的时候在solr.home\conf下面生成的dataimport.properties文件，此文件里面有最近一次导入的相关信息。这个文件如下：

1. #Wed Apr 21 16:48:27 CST 2010

2. last_index_time=2010-04-21 16\:48\:24

3. id.last_index_time=2010-04-21 16\:48\:24

  　　其实last_index_time是最近一次索引（full-import或者delta-import）的时间。
　　通过比较这个时间和我们数据库表中的timestamp列即可得出哪些是之后修改或者添加的。
　　可通过http://:/solr/dataimport查看
　　下面是操作步骤：
　　1.       配置好请求处理器。（这个见我的上一篇文章）
　　2.       修改data-config.xml如下：

4.

5.    

12.    

13.      

17.      

18.    

19.   

  　　注意entity标签的参数：
　　l deltaImportQuery
　　仅适用于delta-import的参数。DIH会检查数据库中的最后修改时间是否与我们
　　这个示例为了尽可能简单，没有使用多表。数据库对应表结构如下：
　　id    Integer       increment
　　user  varchar(45)
　　title varchar(45)
　　content varchar(2000)
　　timestamp datatime
　　text    varchar(2000)
　　3.       最后我们请求：
　　http://:/solr/dataimport?command=delta-import 即可完成delta import
　　相关参数如下：
　　n entity
　　entity是document下面的标签（data-config.xml）。使用这个参数可以有选择的执行一个或多个entity   。使用多个entity参数可以使得多个entity同时运行。如果不选择此参数那么所有的都会被运行。
　　n clean
　　选择是否要在索引开始构建之前删除之前的索引，默认为true
　　n commit
　　选择是否在索引完成之后提交。默认为true
　　n optimize
　　是否在索引完成之后对索引进行优化。默认为true
　　n debug
　　是否以调试模式运行，适用于交互式开发（interactive development mode）之中。
　　请注意，如果以调试模式运行，那么默认不会自动提交，请加参数“commit=true”