使用cvs更新solr索引

13719654321

使用cvs更新solr索引
Solr接受cvs的格式，进行索引。并且支持multi-valued，你也可能在语法感兴趣的基于XML更新指令。
 

要求
Solr1.2是最早支持cvs格式更新索引的版本。
CVS的request handler需要在solrconfig.xml中配置，默认已经在solrconfig.xml的配置文件中存在了。

  <!-- CSV update handler, loaded on demand -->

  <requestHandler name="/update/csv" class="solr.CSVRequestHandler" startup="lazy">

  </requestHandler>

在solr4.0中，CVS被用在标准的UpdateRequestHandler中。

  <requestHandler name="/update" class="solr.UpdateRequestHandler"/>

请注意，需要包括的内容类型：Content-type:application/csv 或则Content-type:text/csv
 
　　上传CSV文件的方法
CVS是通过/solr/update/csv 将文件上传到solr服务器。
 

例子
有一个样例CSV文件的例子/ exampledocs / books.csv可以用来添加文件到Solr服务器实例。
例子使用HTTP-POST的方式通过网络将CVS文件发送到solr服务器。

cd example/exampledocs
curl http://localhost:8983/solr/update/csv --data-binary @books.csv -H 'Content-type:text/plain; charset=utf-8'

上传一个本地CSV文件可以比在网络上通过HTTP发送更有效。此方法工作，必须远程流是启用的。看到xml下面的行，改变它的enableremotestreaming =“true”，并重新启动Solr。

  <requestParsers enableRemoteStreaming="false" multipartUploadLimitInKB="2048" />

以下的请求会导致Solr直接读取输入文件：

curl http://localhost:8983/solr/update/csv?stream.file=exampledocs/books.csv&stream.contentType=text/plain;charset=utf-8
#NOTE: The full path, or a path relative to the CWD of the running solr server must be used.


参数
一些参数可以在每一个领域的基础上通过 f.<fieldname>.param=value。
例如：果CSV文件有多值字段（S）是由不同的分离器分离（S），然后他们可以分泰德基于下列额外的参数传递到 f.<fieldname>.split=true&f.<fieldname>.separator=<separator>或其他方式你可以有多值的域部分相同的CSV不同分离器及可更新，Solr索引基于以上语法。

分离器
指定作为字段分隔符的字符。默认是分离器=，

header
如果第一行的CSV输入包含字段或列名称。默认的header=true，如果字段名的参数是不存在的，这些字段添加文件的索引中也会被使用。

fieldnames
指定要添加文件时使用Solr索引以逗号分隔的字段名列表。如果CSV输入已经有一个标题，名称指定此参数将覆盖。
例如：fieldnames=id,name,category

skip
一个以逗号分隔的字段名列表输入中跳过。另一个跳过的方法是指定它的名字作为字段名长度为一零的字符串。
例子：

fieldnames=id,name,category&skip=name

跳过name字段，相当于

fieldnames=id,,category


skipLines
指定要丢弃CSV数据开始之前输入流中的行数（包括标题，如果存在的话）。默认是skiplines = 0。

trim
如果true删除前导和尾随空白值。CSV分析已经忽略前导空白默认情况下，但可能有结尾的空格，或可能有空格，被引用，因此不能删除。这可能是指定的全局，或在每一个领域的基础。默认的是trim=false
 
　　encapsulator
字符选择用来包围值保存如CSV分隔或空白字符，本标准的CSV格式处理封装器本身出现在一个封装的价值倍增的封装器。
在封装值引号CSV示例：

100,"this is a ""quoted"" string inside an encapsulated value"

默认的 encapsulator="
 
　　keepEmpty
指定默认的index为空的值值。这可能是指定的全局，或在每一个领域的基础。默认的是keepempty = false。
 
　　literal
所有文件添加固定的字段名称/值。
例如：添加一个“数据源”字段值等于“每个文档的索引从CSV产品”

literal.datasource=products

 
　　map
指定一个值与另一个之间的映射。在结肠的LHS的字符串将在右边的字符串替换。此参数可以在每一个领域的基础上在全局或指定。
例如：在每一个地方使用Absolutely替换true

map=Absolutely:true

例如：删除在字段foo中包括RemoveMe的值

f.foo.map=RemoveMe:&f.foo.keepEmpty=false

　　split
如果是true,该字段值使用另一个CSV解析器被分隔成多个值。CSV解析规则如分离器和封装器，可以在指定参数。
　　例如：在下面的输入

id,tags
101,"movie,spiderman,action"

　　为了索引成3个索引标签，并且solr的multi-valued 字段为tags，使用

f.tags.split=true

　　例如：以下有标签领域的空间分离和封装器输入单引号

id,tags
101,movie 'spider man' action

索引3个单独的标签为多值字段称为“tags”方案，使用

f.tags.split=true&f.tags.separator=%20&f.tags.encapsulator='

任何分裂目标Solr领域应该多值。
 
　　rowid
如果不为空，该文件在传入的参数名称字段名称应增加和当前行/ rowid添加新字段的值。如果您的CSV没有唯一的ID,使用cvs的行号也是可以的。如果你只是想指数在正是在原始的CSV文件行来自也有用。
例如：

curl "http://localhost:8983/solr/update?rowid=id" --data-binary @1987.csv -H 'Content-type:application/csv; charset=utf-8'

 
　　rowidOffset
在与rowid参数一起，ROWID被添加到field之前，这个整数将被添加到ROWID。
 
　　overwrite
如果ture(默认的是true),检查并覆盖重复的文件，基于solr在schema中定义的唯一ID,如果你知道你的索引文件不包含任何副本，然后你想相当大的速度，设置overwrite=false。

commit
提交更改后在这一要求所有记录都被索引。默认是commit=false以避免频繁的潜在性能的影响有。
　　Disadvantages
有没有办法提供文档或字段索引时提高CSV格式，但是许多指标不利用这一特征。因为updatecsv处理函数在一个较低的水平比dataimporthandler（DIH），内置的功能，但提供了诸如变压器，entityprocessors和进口的命令不可用时，使用updatecsv。也就是说，额外的考虑，应在CSV文件提供的数据格式以及它如何被你的Solr schema充满。
不像DIH，没有一个可查询的方式在执行后知道状态。

Tab-delimited importing

制表符分隔的导入
不要让“格式”的名字愚弄你，该程序可以加载您的制表符分隔的文件，甚至把斜杠进行转义而不是CSV封装。
例如，一个可以把MySQL表制表符分隔文件

SELECT * INTO OUTFILE '/tmp/result.text' FROM mytable;

此文件可以通过设置隔板选项卡导入Solr（占09）和逃避反斜杠（% 5C）

curl 'http://localhost:8983/solr/update/csv?commit=true&separator=%09&escape=\&stream.file=/tmp/result.text'

参考网址：
http://wiki.apache.org/solr/UpdateCSV