跟益达学Solr5之从MySQL数据库导入数据并索引

liuyuehua

　　最近有小伙伴跟我抱怨说：益达，最近博客更新的有点慢呐。其实不是我变懒了，我是不想因为数量而降低了博客的质量，我需要抱着对你们负责的态度来写每一篇博客，绝不能含糊啊，所以，还望大家多多包涵呐。
今天群里一朋友问我Solr如何对数据库表里的数据进行索引，为此，今晚特地更新此篇博客，这里我以Solr当前最新版本5.1.0，数据库MySQL为例进行讲解说明。
首先我们需要准备一张测试表，如图：

 

 

 测试表创建好了之后，我们需要让表里插入几条测试数据，如图：

 然后需要把E:\solr-5.1.0\dist目录下的solr-dataimporthandler-5.1.0.jar复制到E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\lib目录下，如图：


 
 复制一个MySQL数据库驱动jar包到E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\lib目录下(如果你使用的Oracle数据库，那就是复制Oracle数据库驱动jar包，你懂的)，如图：

 然后你需要创建solr_home根目录，以及在solr_home创建你的core目录结构，如图：

 至于如何创建，请参见我先前写的《跟益达学Solr5之使用Jetty部署Solr》，这里就不再赘述了。
默认dataImport功能在Solr5中是禁用的，需要在solrconfig.xml中添加如下配置开启数据导入功能：

<requestHandler name="/dataimport" class="solr.DataImportHandler">
<lst name="defaults">
<str name="config">data-config.xml</str>
</lst>
</requestHandler>
 
这里的data-config.xml是个相对路径，是相对于你当前core下的conf目录即C:\solr_home\core1\conf，当然你也可以直接写成绝对路径，比如：C:\solr_home\core1\conf\data-config.xml,建议写成相对路径。
 
从E:\solr-5.1.0\example\example-DIH\solr\solr\conf路径下复制一份 data.config.xml配置文件到solrconfig.xml配置文件的同级目录C:\solr_home\core1\conf下，如图：


 

 然后我们需要使用文本编辑软件打开data-config.xml配置文件稍作修改，如图：

 其中solrDB为数据源自定义名称，随便取，没什么约束，type这是固定值，表示JDBC数据源，后面的driver表示JDBC驱动类，这跟你使用的数据库有关，url即JDBC链接URL,后面的user，password分别表示链接数据库的账号密码，下面的entity映射有点类似hiberante的mapping映射，column即数据库表的列名称，name即schema.xml中定义的域名称
 
紧接着我们需要打开schema.xml配置文件对域名称、域类型、是否索引、是否存储、是否分词等信息进行配置，如图：

 注意：这里的cndate域类型是我自定义的域类型，我在下面定义的，看图：

 TrieCNDateField是我自定义的域类型，源码我稍候分享，主要是为了使日期能以我们习惯的yyyy-MM-dd HH:mm:ss这种格式来存储，而不是默认的西方人习惯的类似这样的格式：1995-12-31T23:59:59Z

 本来是想直接修改TrieDateField的源码的，但我感觉那样不够优雅，所以我新建了一个Java Project----> solr-core-extra,然后我把他打包成了jar包。

 把这个jar包复制到E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\lib目录下，如图：

 然后启动我们的Tomcat,如图：

 这里我假定你们都已经成功把Solr5部署到了Tomcat下了，如果Tomcat正常启动后，我们会看到：

 然后打开你们的浏览器，访问http://localhost:8080/solr,确保我们的Solr Web UI能正常访问，如图：

 点击左侧的Dataimport菜单，不出意外的话，你将看到如图截图：

 需要引起注意的是这里的command参数，它有两个选项，如图：

 full-import:全量导入，它会覆盖原有的索引
delta-import:即增量导入，它会在原有索引的基础上追加
下面的几个多选框含义解释如下：
verbose:这个选项设为true的话，会打印导入的一些中间过程的详细信息，有利于调试以及了解内部操作细节
clean:表示是否在导入数据创建索引之前先清空掉原有的索引
commit:表示是否立即提交索引
optimize:表示是否优化索引
debug: 表示是否开启调试模式
 
然后选择需要导入的Entity,点击Execute按钮开始执行数据导入操作，如图：

 如果你看到indexing字样，如图:

 如果你导入的数据并不多，但这个界面停留了很长时间(比如超过了30秒，就不需要再傻傻等着了)，那么很有可能数据导入过程出错了，这时，请切换到logging菜单查看solr日志，如图：

 日志提示有几个html文件找不到，我们可以在solr的解压安装目录下可以找到，如图：

 然后我们需要清掉索引目录重新执行dataimport操作，如图：

 然后重启我们的tomcat，重新执行dataimport操作，如图：

 切换到overview菜单，我们会看到：

 切换到Query菜单，对我们刚插入的索引进行查询测试，如图：

 OK,至此从数据库导入数据并索引就讲解到这儿了，至于最后抛出的问题就留给你们自己解决啦，最后关于我自定义的日期域类型我会在底下的附件里上传，因为ITeye不适合上传大文件，所以依赖的jar包我就不提供了，需要完整源码的，请从我提供的百度网盘地址去下载：
      http://pan.baidu.com/s/1i3J4DZf
 
 
 
     如果你还有什么问题请加我Ｑ-Q：7-3-6-0-3-1-3-0-5，
或者加裙
一起交流学习！