cxg518 发表于 2016-12-15 09:44:36

Solr学习笔记(三)Solr客户端开发实例

  Warming Up:
  本文章通过两种方法索引数据为主线,说明Solr客户端开发,两种方法分别是:直接发送XML文件到Solr服务器;通过Solrj建立客户端程序。本文分别从这两个方面各写一个例子程序;
  Dependency:Solr: apache-solr-1.4.1    Tomcat: apache-tomcat-7.0.0
  Note:本文谈论到不止数据索引,还包括对Solr索引数据的优化,回滚,删除等处理
  方法1:直接发送XML文件到Solr服务器
  由题目可知,直接发送数据到Solr服务器,必须和服务器建立交互关系,这里我提供的解决办法自己写一个Tomcat客户端,此客户端负责和Solr服务器(Tomcat)完成交互;另外要发送的XML必须符合一定规律,否则不能够索引,如下面所示是本文中药发送的XML,通过它我们可以简单学习这种XML的基本格式:根目录<add></add>里面包含又一系列document,而这一些列document里面又包含了各个document的一系列Field,如下代码段所示:

<add>
<doc>
<field name="id">101</field>
<field name="name">kylin soong is a programmer</field>
</doc>
<doc>
<field name="id">102</field>
<field name="name">kobe bryant is a basketball player</field>
</doc>
<doc>
<field name="id">103</field>
<field name="name">jay chou is a singer</field>
</doc>
<doc>
<field name="id">104</field>
<field name="name">jane zhang is a singer</field>
</doc>
<doc>
<field name="id">105</field>
<field name="name">coco lee is a singer</field>
</doc>
<doc>
<field name="id">106</field>
<field name="name">andy liu is a actor</field>
</doc>
</add>
  如上XML名为kobe.xml,会在下面的例子中看到;
  TomcatClient为我自己命名的类,及相关类在附件下项目com.javaeye.solr.tomcat包下面,主要类为:TomcatClient.java,该类主要public方法如下:
  public TomcatClient(String solrURL)为构造方法,通过提供字符串建立与Tomcat上SolrURL,通过此URL可以进行Stream交换
  public int postFiles(String[] files, int startIndexInArgs)
  public void postFile(File file, Writer output)
  public void postData(Reader data, Writer output) 这三个方法都是向Solr上建立索引的方法,第一个是为一系列File建立索引,第二个为一个File建立索引,第三个是把File通过字节的形式读取传入,这个方法适合File比较小,
  注意,不推荐使用第三个方法,因为第三个方法没有考虑到编码的问题,如果File中有中文就会有问题
  public void commit(Writer output)
  public void rollback(Writer output)
  public void optimize(Writer output)
  public void deleteByUniqueKey(String key, Writer output)这四个方法分别是提交,回滚、优化、删除
  接下来我们就给出一段简单运行结果,运行j简单代码如下:

public static void main(String[] args) throws IOException {
File file = new File("D:\\new period\\solr\\post\\kobe.xml");
String url = "http://localhost:8080/solr";
TomcatClient client = new TomcatClient(url);
StringWriter output = null;
output = new StringWriter();
client.postFile(file, output);
output = new StringWriter();
client.commit(output);
}
  接下来我们去看我们去Solr管理界面看运行结果如下图:
  

 点击查询可以看到如下结果:

<?xml version="1.0" encoding="UTF-8" ?>
- <response>
- <lst name="responseHeader">
<int name="status">0</int>
<int name="QTime">0</int>
- <lst name="params">
<str name="indent">on</str>
<str name="start">0</str>
<str name="q">singer</str>
<str name="rows">10</str>
<str name="version">2.2</str>
</lst>
</lst>
- <result name="response" numFound="3" start="0">
- <doc>
<str name="id">103</str>
<str name="name">jay chou is a singer</str>
</doc>
- <doc>
<str name="id">104</str>
<str name="name">jane zhang is a singer</str>
</doc>
- <doc>
<str name="id">105</str>
<str name="name">coco lee is a singer</str>
</doc>
</result>
</response>
  如上结果singer出现三次分别id号:103,104,105,当然可以验证删除,优化等,这里就简要带过,不过需要注意的是对Solr服务器昨晚处理后必须调运Commit方法进行提交,不然不会起作用;
  方法2:Solrj建立与服务器交互
  Solrj 是访问 Solr 的 Java 客户端,它提供添加、更新和查询Solr 索引的接口;下面介绍一些Solrj关键类:
  1、CommonsHttpSolrServer,该类提供了一系列与Solr交互的方法,包括增、删、改、查、优化、回滚等一系列操作,
  当然他还有一系列构造方法和Set方法,可以通过这些参数控制Http请求的属性,如下:

String url = "http://localhost:8080/solr";
CommonsHttpSolrServer s = new CommonsHttpSolrServer(url);
s.setConnectionTimeout(100);
s.setDefaultMaxConnectionsPerHost(100);
s.setMaxTotalConnections(100);
  2、SolrInputDocument,该类实现了Map接口,可以向其中添加一系列键值对,这用来创建Lucene的Document(Solr底层是Lucene),用来建立索引;该类还实现了Iterable结构,这样可以循环输出:如下为一段测试代码:

SolrInputDocument test = new SolrInputDocument();
test.addField("id", "sdfs");
test.addField("name", "wee");
test.addField("cat", "cat");
for(Iterator iterator = test.iterator();iterator.hasNext();) {
SolrInputField field = (SolrInputField) iterator.next();
System.out.println(field.getName() + " - " + field.getValue());
}
  3、SolrQuery, Solr查询类,该类包含基本查询参数,例如"*:*"表示查询索引中所有Document;
  4、QueryResponse,该类代表查询结果,它封装了一系列方法查看满足条件的Documents信息,如下代码:

SolrQuery query = new SolrQuery("*:*");
String url = "http://localhost:8080/solr";
CommonsHttpSolrServer solrServer = (CommonsHttpSolrServer) client.createNewSolrServer(url);
QueryResponse response= commonsHttpSolrServer.query(query);
SolrDocumentList list = response.getResults();
System.out.println(list);
  5,开始:SolrjClient有三类方法:启动连接Solr方法,索引数据的方法及查询索引的方法:
  下面贴出一些测试代码(全部代码贱附件)

url = "http://localhost:8080/solr";
client = new SolrjClient();
client.startSolrServer(url);
List<SolrInputDocument> docs = new ArrayList<SolrInputDocument>();
for (int i = 0; i < 10; i++) {
SolrInputDocument doc = new SolrInputDocument();
doc.addField("id", i);
doc.addField("severity",i);
doc.addField("sLocation","Beijing_" + i);
doc.addField("msg", "kobe bryant" + i);
doc.addField("name", "kylin soong" + i);
docs.add(doc);
}
client.addDocs(docs);
  如上向8080端口上服务器添加10条数据:
  然后若测试查询:

String[] fields = new String[]{"id", "name", "msg"};
List<SolrDocument> lists = client.query("kobe",10,fields);
System.out.println(lists.size());
for(SolrDocument doc : lists) {
for(Iterator iterator = doc.iterator();iterator.hasNext();) {
Map.Entry<String, Object> entry = (Entry<String, Object>) iterator.next();
System.out.print(entry.getKey() + "=" + entry.getValue() + " ");
//System.out.print(iterator.next() + "   ");
}
System.out.println();
}
  显示查询结果:

10
id=0 msg=kobe bryant0 name=kylin soong0
id=1 msg=kobe bryant1 name=kylin soong1
id=2 msg=kobe bryant2 name=kylin soong2
id=3 msg=kobe bryant3 name=kylin soong3
id=4 msg=kobe bryant4 name=kylin soong4
id=5 msg=kobe bryant5 name=kylin soong5
id=6 msg=kobe bryant6 name=kylin soong6
id=7 msg=kobe bryant7 name=kylin soong7
id=8 msg=kobe bryant8 name=kylin soong8
id=9 msg=kobe bryant9 name=kylin soong9
  PS: 到此结束,可以根据附件中代码提供的测试例子进行详细研究;
页: [1]
查看完整版本: Solr学习笔记(三)Solr客户端开发实例