solr增量导入数据

jy166102

　　本人也是刚接触solr，有些问题还请指导
　　最初我想同时导入两张表的数据到索引中，相关配置如下:
　　${solr_home}/db/conf/solrconfig.xml中：
　　<requestHandler name=&quot;/dataimport&quot; class=&quot;org.apache.solr.handler.dataimport.DataImportHandler&quot;>
       <lst name=&quot;defaults&quot;>
         <str name=&quot;config&quot;>/opt/solr/db/conf/db-data-config2.xml</str>
        <str name=&quot;config&quot;>/opt/solr/db/conf/db-data-config.xml</str>
       </lst>
    </requestHandler>
　　
　　两张表在同一个库中，由于schema.xml中需要配置<uniqueKey></uniqueKey>（uniqueKey必须配置）
　　一张表的主键名是goodsNo,另一张表merchantNo
　　所以我在schema.xml中添加如下配置:
　　.......
　　<field name=&quot;goodsNo&quot; type=&quot;string&quot; indexed=&quot;true&quot; stored=&quot;true&quot; />
　　<field name=&quot;merchantNo&quot; type=&quot;string&quot; indexed=&quot;true&quot; stored=&quot;true&quot; />
　　.........
　　
　　<uniqueKey>goodsNo</uniqueKey>
<uniqueKey>merchantNo</uniqueKey>
　　....
　　但这样配置后，导入不成功，因为添加了uniqueKey之后，就表示这个字段是必填的。
　　而每次导入一张表的数据，会因为另外一张表的主键没有&#20540;而报错:
　　missing required field: merchantNo
　　
　　后来我改为增量导入（分为2次导入2张表的数据，第一次导入使用full-import）,关键配置如下：
　　db-data-config.xml(goods表,增量导入的数据)
　　
　　<dataConfig>
<dataSource type=&quot;JdbcDataSource&quot; driver=&quot;com.mysql.jdbc.Driver&quot; url=&quot;jdbc:mysql://192.168.1.200:3306/POINTS&quot; user=&quot;points&quot; password=&quot;points&quot;/>
    <document name=&quot;goods&quot;>
      <entity name=&quot;goods&quot; pk=&quot;goodsNo&quot; query=&quot;select GOODS_NO,GOODS_NAME,CATALOG_ID,BRIEF,PIC_URL,SALE_PRICE,SALECOUNT,CREATE_DATE from goods where status='0'&quot;
   deltaImportQuery=&quot;select GOODS_NO,GOODS_NAME,CATALOG_ID,BRIEF,PIC_URL,SALE_PRICE,SALECOUNT,CREATE_DATE from goods where goods_no='${dataimporter.delta.goodsNo}'&quot;
   deltaQuery=&quot;select goods_no goodsNo from goods&quot;>
   <!-- deltaQuery=&quot;select GOODS_NO,GOODS_NAME,CATALOG_ID,BRIEF,PIC_URL,SALE_PRICE,SALECOUNT,CREATE_DATE from goods where create_date >   '${dataimporter.last_index_time}'&quot; -->
    <field column=&quot;GOODS_NO&quot; name=&quot;goodsNo&quot; />
    <field column=&quot;GOODS_NAME&quot; name=&quot;goodsName&quot; />
    <field column=&quot;CATALOG_ID&quot; name=&quot;catalogId&quot; />
    <field column=&quot;BRIEF&quot; name=&quot;brief&quot; />
    <field column=&quot;PIC_URL&quot; name=&quot;picUrl&quot; />
    <field column=&quot;SALE_PRICE&quot; name=&quot;salePrice&quot; />
    <field column=&quot;SALECOUNT&quot; name=&quot;salecount&quot; />
    <field column=&quot;CREATE_DATE&quot; name=&quot;createDate&quot; />
      </entity>
    </document>
</dataConfig>
　　
　　

         版权声明：本文为博主原创文章，未经博主允许不得转载。