Solr索引创建与更新-XML

zyh3033

Solr索引创建与更新-XML

 

 

在上一节中，我们成功启动了solr，并且将数据成功更新到solr中，本次我们来学习一下solr的更新方式。
solr提供了三种更新方式，xml、json、csv，这新更新方式在solr4.0里面都统一用solr.UpdateRequestHandler进行了支持，不过在提交的Content-type中需要设置相应的格式。
 
 
下面我们了解下solr更新索引的方式，先看下xml，xml格式算是最简单，最容易理解的格式，如果想理解solr能够处理的格式，可以参考下solr目录下example/exampledocs目录，里面后缀xml结尾的文档，都是solr支持的xml格式索引。
 
 
在上一篇文章中，我们执行过这个命令：
 

java -jar post.jar *.xml  
 
 
这个命令实际上是利用了post.jar的提交功能，当然我们也可以自己提交文档，并且提交自己文档内容，如果想用xml格式提交的话。
 
我们直接以官网为例说明，同时会有solr安装包里面的例子补充，后面介绍json格式和csv格式也一样，不再赘述。
 
XML格式提供增加索引，和删除索引两种功能；那修改索引怎么办？你可以用增加索引的方法，但是可以设定覆盖，或者修改；查询的话就是另外一个话题了，以后会有分析。
 
 
增加索引的xml格式：
 

<add>
<doc>
<field name="employeeId">05991</field>
<field name="office">Bridgewater</field>
<field name="skills">Perl</field>
<field name="skills">Java</field>
</doc>
[<doc> ... </doc>[<doc> ... </doc>]]
</add>

 
 
这个是极其简单的xml格式，连校验的schema都没有，所以说格式的准确性和内容的正确性都需要自己校验。
看完这个格式，就能理解solr添加xml索引的方式了，是不是比较简单；下面简单解释一下标签属性：
 
 
add标签的可选属性：
 

overwrite="true"|"false"：默认是true，同一个uniqueKey的文档会被覆盖
commitWithin="milliseconds"：在规定时间内，文件会被加入索引。

 
 
doc标签的可选属性：
 

boost=<float>：默认是1.0，boost的含义见lucene
 
 
field标签的可选属性： 
 

boost=<float>：默认是1.0，field标签的boost含义和doc字段的boost含义不同
boost使用的例子如下：

<add>
<doc boost="2.5">
<field name="employeeId">05991</field>
<field name="office" boost="2.0">Bridgewater</field>
</doc>
</add> 
  
 

update="add"|"set"|"inc"
 update的使用例子如下：add表示新添文档，set表示设置field值，inc是个原子操作，solr4,0支持
 

<add>
<doc>
<field name="employeeId">05991</field>
<field name="office" update="set">Walla Walla</field>
<field name="skills" update="add">Python</field>
</add>

 
 如果field有多个值的话，同样可以对多个field使用update属性
 

<add>
<doc>
<field name="employeeId">05991</field>
<field name="skills" update="set">Python</field>
<field name="skills" update="set">Java</field>
<field name="skills" update="set">Jython</field>
</add>

 
 
两外还有commit和optimize这两个字段
 

<commit/>
<optimize/>

 
 
这两个字段的用法比较高级，其中commit分为hard commit和soft commit，前者确保索引修改对其它的请求可见；后者只保证对当前的这次操作之后的索引可见，如果JVM crash或者断点的话，后者所做的修改时不会被写到索引文件中，当然，后者肯定要更快点，如何使用还要仔细斟酌。optimize字段和hard commit类似，不过这个操作会强制索引文件合并；这个操作一定要慎重，因为合并索引文件费时费力费资源；其实optimize操作一般是不用操心的，由MergePolicy决定，这个参数会强制MergePolicy立即执行合并策略。
commit和optimize字段是个比较高级的语法，在更新时的考虑比较多，在这篇文章里面就说到这里，想要了解更多参考文档。
 
 
下面我们使用CURL命令来传递参数，提交更新。
关于curl命令，有不理解的地方请看这里：http://isilic.iyunv.com/blog/1764049，下面curl的语法也比较简单，不多做解释，有疑问请点击前面的链接。
注意更新时一定要由Content-Type字段，并且值必须为text/xml，告诉程序调用Xml方式更新。
 
 

curl "http://localhost:8983/solr/update?commit=true" -H "Content-Type: text/xml" --data-binary '<add><doc><field name="id">testdoc</field></doc></add>'
 提交的post请求数据就是xml格式
 
 
如果有其它的参数提交需求，也可以提交在curl命令后面：
 

curl "http://localhost:8983/solr/update?commitWithin=10000" -H "Content-Type: text/xml" --data-binary '<add><doc><field name="id">testdoc</field></doc></add>'
 
 
下面看下delete语法，按照id和query删除文档：
 

<delete>
<id>05991</id><id>06000</id>
<query>office:Bridgewater</query>
<query>office:Osaka</query>
</delete>

 
 

<rollback/>
<prepareCommit/>

 这两个是专家级别Expert-Level的API，不多做解释了，一般用不到。
 
 
更新数据索引：
 

curl http://<hostname>:<port>/solr/update -H "Content-Type: text/xml" --data-binary '
<add>
<doc boost="2.5">
<field name="employeeId">05991</field>
<field name="office" boost="2.0">Bridgewater</field>
</doc>
</add>'

 
 
当然get请求也可以，不过get请求参数必须是url-encoded
 

http://localhost:8983/solr/update?stream.body=%3Cdelete%3E%3Cquery%3Eoffice:Bridgewater%3C/query%3E%3C/delete%3E
http://localhost:8983/solr/update?stream.body=%3Ccommit/%3E

 
 
如果想同时更新和删除文档，下面这种格式是错误的。
 

curl http://127.0.0.1:8983/solr/update/?commit=true -H "Content-Type: text/xml" --data-binary '<add><doc><field name="id">17</field></doc></add><delete><id>1234</id></delete>';
 
 
有点想当然了，准确的应该是将这些操作用update标签包起来
 

curl http://127.0.0.1:8983/solr/update/?commit=true -H "Content-Type: text/xml" --data-binary '<update><add><doc><field name="id">17</field></doc></add><delete><id>1234</id></delete></update>';
 
最后，XML格式更新索引部分算是结束了，XML格式算是使用最为悠久的格式之一了，所以solr对于XML格式的支持也是不遗余力，这个也很容易证明XML格式使用的广泛性。
下次我们讲解下其它格式的更新索引的方式。