Solr部署配置（四）批量导入数据

zhangpengfei00

　　一、solr自带导入插件DataImporte设置
　　1、在solrconfig.xml文件中添加如下内容，引入DataImport功能，并设置配置文件位置。


　　

<requestHandler name=&quot;/dataimport&quot; class=&quot;org.apache.solr.handler.dataimport.DataImportHandler&quot;>
<lst name=&quot;defaults&quot;>
<str name=&quot;config&quot;>D:\dev\test\solr-tomcat\solr\db\conf\db-data-config.xml</str>
</lst>
</requestHandler>


2、将jdbc的jar包和solr包中的DataImport的jar包拷贝到webapp中solr/WEB-INF/lib目录
　　
　　


　　二、导入数据


　　1、从数据库导入数据(sqlserver)


　　

<dataConfig>　
<!-- <dataSource type=&quot;JdbcDataSource&quot; driver=&quot;com.mysql.jdbc.Driver&quot; url=&quot;jdbc:mysql://localhost:3306/langsin1&quot; user=&quot;root&quot; password=&quot;root&quot;/>　-->
<dataSource type=&quot;JdbcDataSource&quot; driver=&quot;net.sourceforge.jtds.jdbc.Driver&quot; url=&quot;jdbc:jtds:sqlserver://localhost:1433;SelectMethod=Cursor;DatabaseName=dbname&quot; user=&quot;sa&quot; password=&quot;123&quot;/>
<document name=&quot;userss&quot;>　
　　　　<entity name=&quot;users&quot; pk=&quot;id&quot; query=&quot;select * from news_friend_links&quot;>　
　　　　　　<field column=&quot;id&quot; name=&quot;id&quot; />　
　　　　　  <field column=&quot;name&quot; name=&quot;name&quot; />　
　　　　</entity>　
　　</document>　
</dataConfig>


详细配置参见：http://wiki.apache.org/solr/DataImportHandler#Extending_the_tool_with_APIs
　　
　　


　　处理CLOB和BLOB
　　

<dataSource name=&quot;ora&quot; driver=&quot;oracle.jdbc.OracleDriver&quot; url=&quot;....&quot; />
<datasource name=&quot;ds-BlobField&quot; type=&quot;FieldStreamDataSource&quot; />
<entity dataSource=&quot;ora&quot; name=&quot;meta&quot; query=&quot;select id, filename,content, bytes from documents&quot; <span style=&quot;color:#ff6666;&quot;>transformer=&quot;ClobTransformer&quot;</span>>
                <field column=&quot;ID&quot; name=&quot;id&quot; />
                <field column=&quot;FILENAME&quot; name=&quot;filename&quot; />
                <field column=&quot;CONTENT&quot; name=&quot;CONTENT&quot; <span style=&quot;color:#ff6666;&quot;>clob=&quot;true&quot; </span>/>               
                 <entity dataSource=&quot;ds-BlobField&quot; processor=&quot;TikaEntityProcessor&quot; url=&quot;FILE_CONTENT&quot;  dataField=&quot;ATTACH.FILE_CONTENT&quot;>                    <field column=&quot;text&quot; name=&quot;FJ_FILE_CONTENT&quot; /><!-- 全局搜索 -->                    <field column=&quot;Author&quot; name=&quot;FJ_FILE_AUTHOR&quot; meta=&quot;true&quot; />                </entity>
</entity>



　　
　　2、通过http或xml文件导入数据
　　a、http方式


　　

<dataConfig>
<dataSource type=&quot;HttpDataSource&quot; />
<document>
<entity name=&quot;slashdot&quot;
pk=&quot;link&quot;
url=&quot;http://rss.slashdot.org/Slashdot/slashdot&quot;
processor=&quot;XPathEntityProcessor&quot;
forEach=&quot;/RDF/channel | /RDF/item&quot;
transformer=&quot;DateFormatTransformer&quot;>
<field column=&quot;source&quot;       xpath=&quot;/RDF/channel/title&quot;   commonField=&quot;true&quot; />
<field column=&quot;title&quot;        xpath=&quot;/RDF/item/title&quot; />
<field column=&quot;link&quot;         xpath=&quot;/RDF/item/link&quot; />
<field column=&quot;date&quot; xpath=&quot;/RDF/item/date&quot; dateTimeFormat=&quot;yyyy-MM-dd'T'hh:mm:ss&quot; />
</entity>
</document>
</dataConfig>


b、xml方式
　　
　　导入单个文件
　　

<dataConfig>
<dataSource type=&quot;FileDataSource&quot; encoding=&quot;UTF-8&quot; />
<document>
<entity name=&quot;page&quot;
processor=&quot;XPathEntityProcessor&quot;
stream=&quot;true&quot;
forEach=&quot;/mediawiki/page/&quot;
url=&quot;/data/enwiki-20080724-pages-articles.xml&quot;
transformer=&quot;RegexTransformer,DateFormatTransformer&quot;
>
<field column=&quot;id&quot;        xpath=&quot;/mediawiki/page/id&quot; />
<field column=&quot;title&quot;     xpath=&quot;/mediawiki/page/title&quot; />
<field column=&quot;timestamp&quot; xpath=&quot;/mediawiki/page/revision/timestamp&quot; dateTimeFormat=&quot;yyyy-MM-dd'T'hh:mm:ss'Z'&quot; />
<field column=&quot;$skipDoc&quot;  regex=&quot;^#REDIRECT .*&quot; replaceWith=&quot;true&quot; sourceColName=&quot;text&quot;/>
</entity>
</document>
</dataConfig>


导入多个文件　　
　　

<dataConfig>
<dataSource type=&quot;FileDataSource&quot; encoding=&quot;UTF-8&quot; />
<document>
<entity name=&quot;jc&quot; rootEntity=&quot;false&quot; dataSource=&quot;null&quot;
processor=&quot;FileListEntityProcessor&quot;
fileName=&quot;.xml$&quot; recursive=&quot;false&quot;
baseDir=&quot;D:/&quot;
>
<entity name=&quot;page&quot;
processor=&quot;XPathEntityProcessor&quot;
stream=&quot;true&quot;
forEach=&quot;/node/list/&quot;
url=&quot;${jc.fileAbsolutePath}&quot;
transformer=&quot;RegexTransformer,DateFormatTransformer&quot;
>
<field column=&quot;id&quot;        xpath=&quot;/node/list/id&quot; />
<field column=&quot;name&quot;     xpath=&quot;/node/list/name&quot; />
</entity>
</entity>
</document>
</dataConfig>


三、导执行导入操作
　　
　　访问：http://localhost:8081/solr/dataimport?command=full-import
　　其中command参数包括：
　　full-import：全部导入，清空原数据
　　delta-import：增量导入
　　reload-config：重新加载配置文件

版权声明：本文为博主原创文章，未经博主允许不得转载。