Solr4.7从数据库导数据

xuyaxiu

　　实际工程应用中，从数据库导出数据创建索引再常见不过了，现在实验一下从数据库导入数据创建索引。
　　
　　一、版本说明
　　Solr版本：4.7.0
　　数据库：sqlserver2005
　　
　　二、配置步骤
　　1、  准备的jar包
　　1）  solr-dataimporthandler-extras-4.7.0.jar；在solr发布包solr-4.7.0\dist里面有
　　2）  solr-dataimporthandler-4.7.0.jar；在solr发布包solr-4.7.0\dist里面有
　　3）  jtds-1.2.2.jar；网上自己找
　　2、  修改solr的core配置
　　要想哪个core从数据库导入数据建索引就修改哪个core的配置。
　　
　　2.1修改solrconfig.xml
　　添加如下这段配置：
　　

<requestHandler name=&quot;/dataimport&quot; class=&quot;org.apache.solr.handler.dataimport.DataImportHandler&quot;>
<lst name=&quot;defaults&quot;>
<str name=&quot;config&quot;>data-config.xml</str>
</lst>
</requestHandler>

　　
　　2.2添加data-config.xml
　　在solrconfig.xml同一个文件夹内建立data-config.xml，其配置如下：
　　

<?xml version=&quot;1.0&quot; encoding=&quot;UTF-8&quot; ?>
<dataConfig>
<dataSource type=&quot;JdbcDataSource&quot;
driver=&quot;net.sourceforge.jtds.jdbc.Driver&quot;
url=&quot;jdbc:jtds:sqlserver://localHost/MyHousekeeper&quot;
user=&quot;sa&quot;
password=&quot;123456&quot;/>
<document>
<entity name=&quot;pay&quot; query=&quot;SELECT payId,payName,payMoney,payDescription,payDatetime FROM t_pay&quot;>
<field column=&quot;payId&quot;          name=&quot;id&quot; />
<field column=&quot;payName&quot;        name=&quot;name&quot; />
<field column=&quot;payMoney&quot;       name=&quot;money&quot; />
<field column=&quot;payDescription&quot; name=&quot;description&quot; />
<field column=&quot;payDatetime&quot;    name=&quot;datetime&quot; />
</entity>
</document>
</dataConfig>

　　
　　2.3修改schema.xml
　　修改这个的目的是让solr知道有哪些field，是否需要索引，是否需要在索引库中存储原文，以及field类型。在上面的sql中有很多种数据类型。
　　payId：整型
　　payName：字符型
　　payMoney：浮点数
　　payDescription：大文本
　　payDatetime：日期时间&#26684;式
　　首先在schema.xml中申明field类型，配置在<types> </types>内。下面配置的sring类型是不会做分词处理的，视为完整的一个词，text_ik是一个中文分词器ik-analyzer，专门处理中文分词。

如下：　　

<types>
<fieldtype name=&quot;string&quot;  class=&quot;solr.StrField&quot;       sortMissingLast=&quot;true&quot; omitNorms=&quot;true&quot;/>
<fieldType name=&quot;long&quot;    class=&quot;solr.TrieLongField&quot;  precisionStep=&quot;0&quot; positionIncrementGap=&quot;0&quot;/>
<fieldType name=&quot;float&quot;   class=&quot;solr.TrieFloatField&quot; precisionStep=&quot;0&quot; positionIncrementGap=&quot;0&quot;/>
<fieldType name=&quot;date&quot;    class=&quot;solr.TrieDateField&quot;  precisionStep=&quot;0&quot; positionIncrementGap=&quot;0&quot;/>
<fieldType name=&quot;text_ik&quot; class=&quot;solr.TextField&quot;>
<analyzer class=&quot;org.wltea.analyzer.lucene.IKAnalyzer&quot;/>
</fieldType>
</types>

　　
　　然后申明field，field的名字应该和sql的查询结果集列名一致，如果不一致，需要在data-config.xml中entity标签中用field指明列和field的对应关系。
　　Field配置如下：

<fields>   
<field name=&quot;_version_&quot;       type=&quot;long&quot;       indexed=&quot;true&quot;  stored=&quot;true&quot;/>
<field name=&quot;id&quot;              type=&quot;long&quot;       indexed=&quot;true&quot;  stored=&quot;true&quot;  multiValued=&quot;false&quot; required=&quot;true&quot;/>
<field name=&quot;name&quot;            type=&quot;string&quot;     indexed=&quot;true&quot;  stored=&quot;true&quot;  multiValued=&quot;false&quot; />
<field name=&quot;money&quot;           type=&quot;float&quot;      indexed=&quot;true&quot;  stored=&quot;true&quot;  multiValued=&quot;false&quot; />
<field name=&quot;description&quot;     type=&quot;text_ik&quot;    indexed=&quot;true&quot;  stored=&quot;true&quot;  multiValued=&quot;false&quot; />
<field name=&quot;datetime&quot;        type=&quot;date&quot;       indexed=&quot;true&quot;  stored=&quot;true&quot;  multiValued=&quot;false&quot; />
</fields>


其中如下field是必须的，用于标记版本信息，由solr内部自己维护。　　

<field name=&quot;_version_&quot;       type=&quot;long&quot;       indexed=&quot;true&quot;  stored=&quot;true&quot;/>

三、导入测试　　
　　进入solr管理界面，command选择full-import全部导入；entity需要导入的实体，也就是配置的哪个sql，点击execute执行导入，如果数据很多的话需要导一段时间，不时的点一下refresh status刷新一下，看看导入是否完成，导入完成后会告诉你导入了多少数据，用了多少时间。如下图

　　
　　做个查询测试，query，
　　q，description：米；查询description这个field名的米相关数据
　　wt，json；查询结果返回&#26684;式，默认json
　　execute query，执行查询，看到返回的json&#26684;式的查询结果了。

　　


　　
　　参考文献：
　　1）  
http://www.chepoo.com/solr4-database-import-create-index.html
　　2）  
http://blog.iyunv.com/bruce128/article/details/17796705





版权声明：本文为博主原创文章，未经博主允许不得转载。