Apache Solr单机环境配置（包括中文分词和Java API的使用）
一、使用场景说明项目中需要实现一个地址查询框，类似于在谷歌地图中输入地址，根据定义的规则实时检索并展现匹配的地址的功能（当然比那简单的多），为了减小数据库压力和提高检索效率，现采用apache solr实现。由于对性能和可靠性可用性等没太高的要求，所以此处没有考虑集群，只是一个简单的单机版环境。
二、概念介绍
三、安装启动和中文分词配置
1、下载solr-4.10.2.zip，解压得到solr-4.10.2目录
2、将solr-4.10.2\example下的solr目录拷贝出来作为SOLR_HOME（即配各个collection配置和数据存储的目录），此处拷贝到C:\Users\jiayu\Desktop\solr\下并重命名为solr_home
3、将solr-4.10.2\dist下的solr-4.10.2.war拷贝到tomcat的webapps目录下，启动tomcat后会自动解压，然后此war包即可删除，解压后默认目录名称为solr-4.10.2，为方便此处将其名称改为solr，然后在tomcat\webapps\solr\META-INF下创建context.xml（tomcat配置：可在tomcat的\conf\Catalina\localhost目录下创建与应用上下文同名的xml文件或在应用上下文的META-INF目录下创建context.xml），xml内容如下：
<?xml version="1.0"encoding="UTF-8" standalone="yes"?>
<ContextdocBase="D:\setups\apache-tomcat-7.0.54-others\webapps\solr.war"debug="0" crossContext="true" >
<Environmentname="solr/home" type="java.lang.String"value="C:\Users\jiayu\Desktop\solr\solr_home"override="true" />
</Context>
4、启动tomcat，此时会发现报出来一个错误：Error filterStart，查看tomcat日志：localhost.log，报缺少slf4j包，将solr-4.10.2\example\lib\ext下的所有jar包（此处没有校验具体需要哪个）拷贝到solr/WEB-INF/lib目录下，同时在WEB-INF下建立classes目录，建立log4j.properties文件，内容如下
#Logging level
solr.log=logs/
log4j.rootLogger=INFO, file, CONSOLE
log4j.appender.CONSOLE=org.apache.log4j.ConsoleAppender
log4j.appender.CONSOLE.layout=org.apache.log4j.PatternLayout
log4j.appender.CONSOLE.layout.ConversionPattern=%-4r[%t] %-5p %c %x \u2013 %m%n
#- size rotation with log cleanup.
log4j.appender.file=org.apache.log4j.RollingFileAppender
log4j.appender.file.MaxFileSize=4MB
log4j.appender.file.MaxBackupIndex=9
#- File to log to and log format
log4j.appender.file.File=${solr.log}/solr.log
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%-5p- %d{yyyy-MM-dd HH:mm:ss.SSS}; %C; %m\n
log4j.logger.org.apache.zookeeper=WARN
log4j.logger.org.apache.hadoop=WARN
# set to INFO to enable infostream logmessages
log4j.logger.org.apache.solr.update.LoggingInfoStream=OFF
重新启动，访问localhost:8080/solr/admin.html，出现如下界面说明启动成功
配置中文分词
下载IKAnalyzer2012FF_u1.jar，并放在solr/WEB-INF/lib目录下
编辑solr_home/collection1/conf目录下的scheme.xml文件，添加如下内容：
<fieldType name="text_ik"class="solr.TextField">
<analyzertype="index" isMaxWordLength="false"class="org.wltea.analyzer.lucene.IKAnalyzer"/>
<analyzertype="query" isMaxWordLength="true"class="org.wltea.analyzer.lucene.IKAnalyzer"/>
</fieldType>
<fieldname="quesContent" type="text_ik" />
标明quesContent字段的分词由中文分词器去完成，打开solr管理页面，选择collection1（core selector），要分词的字段选择刚配置的quesContent，输入一段中文，点击分析，可看到分词效果
至此，配置工作完成，下面介绍一下如何从数据库导入数据，和如何利用它提供的javaAPI插入和查询数据
四、从数据库导入数据
将solr-4.10.2\dist目录下的solr-dataimporthandler-4.10.2.jar和solr-dataimporthandler-extras-4.10.2.jar拷贝到solr应用程序的WEB-INF/lib目录下，由于此处是从ORACLE中导入数据，还要将Oracle驱动oracle6.jar拷贝到lib下
在solr_home目录/collection1/conf下创建data-config.xml，内容如下
<dataConfig>
<dataSource driver="oracle.jdbc.driver.OracleDriver"url="jdbc:oracle:thin:@192.168.32.152:1521:star"user="ecms" password="ecms"/>
<document>
<entity name="addressen" query="select id,name fromaddressen">
<fieldcolumn="id" name="id"/>
<field column="name"name="name"/>
</entity>
</document>
</dataConfig>
在/collection1/conf/solrconfig.xml中添加
<requestHandlername="/dataimport"class="org.apache.solr.handler.dataimport.DataImportHandler">
<lstname="defaults">
<strname="config">data-config.xml</str>
</lst>
</requestHandler>
启动后，登录solr管理界面，选择collection1，选择Dataimport选项，点击Execute按钮，如果配置无误的话数据便可导入进来
五、solr-solrj-4.10.2.jar提供的java API使用
为了保证数据库中数据和solr中的数据同步，采用定时任务，每隔一段时间通过API调用，将数据库中数据同步到solr中。由于地址表中存放着各个国家的数据，在同步时，需要将数据按国家分开存放，所以对于每个国家的地址信息，单独创建一个core，在solr_home下有一个配置好的default_core目录，在插入地址时，判断如果此条地址的国家（比如country01）还没有对应的core，将创建目录country01，同时将default_core中的配置信息拷贝到country01中。
以下为完整代码：
package com.star.basic.system.domain;
import java.io.Serializable;
import java.util.List;
import org.apache.solr.client.solrj.beans.Field;
public class SolrStoredAddress implements Serializable {
/**
*
*/
private static final long serialVersionUID = 6192432007244661406L;
@Field
private String id;
@Field
private String name;
@Field
private String countryName;
@Field
private List<String> saleAreas;
@Field
private List<String> operators;
public String getId() {
return id;
}
public void setId(String id) {
this.id = id;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
public String getCountryName() {
return countryName;
}
public void setCountryName(String countryName) {
this.countryName = countryName;
}
public List<String> getSaleAreas() {
return saleAreas;
}
public void setSaleAreas(List<String> saleAreas) {
this.saleAreas = saleAreas;
}
public List<String> getOperators() {
return operators;
}
public void setOperators(List<String> operators) {
this.operators = operators;
}
}
package com.star.basic.system.solr.utils;
import java.io.IOException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Map.Entry;
import org.apache.solr.client.solrj.SolrQuery;
import org.apache.solr.client.solrj.SolrServerException;
import org.apache.solr.client.solrj.impl.HttpSolrServer;
import org.apache.solr.client.solrj.response.QueryResponse;
import com.star.basic.system.domain.SolrStoredAddress;
public class SolrAddressUtils {
public static boolean available = true;
private static final String SOLR_URL = "http://127.0.0.1:8081/solr";
private static HttpSolrServer server = new HttpSolrServer(SOLR_URL);
/**
* 将数据同步到solr中
* @param addresses
* @throws SolrServerException
* @throws IOException
*/
public static void addAddresses(List<SolrStoredAddress> addresses)
throws SolrServerException, IOException {
available = false;
//将地址信息按国家分类
Map<String, List<SolrStoredAddress>> map = new HashMap<String, List<SolrStoredAddress>>();
for (SolrStoredAddress address : addresses) {
if (!map.containsKey(address.getCountryName())) {
map.put(address.getCountryName(),
new ArrayList<SolrStoredAddress>());
}
map.get(address.getCountryName()).add(address);
}
for (Entry<String, List<SolrStoredAddress>> entry : map.entrySet()) {
server.setBaseURL(SOLR_URL);
if (!SolrUtils.hasCore(entry.getKey(), server)) {
SolrUtils.createCore(entry.getKey(), server);
}
server.setBaseURL(SOLR_URL + "/" + entry.getKey());
server.deleteByQuery("*:*"); // CAUTION: deletes everything!
server.addBeans(entry.getValue());
server.commit();
}
available = true;
}
public static List<SolrStoredAddress> queryAddresses(String addrName,
String countryName) {
if (!available) {
return null;
}
SolrQuery query = new SolrQuery();
query.setQuery("name:" + addrName);
query.setStart(0);
query.setRows(5);
server.setBaseURL(SOLR_URL + "/" + countryName);
QueryResponse response;
try {
response = server.query(query);
return response.getBeans(SolrStoredAddress.class);
} catch (SolrServerException e) {
e.printStackTrace();
}
return null;
}
public static void main(String[] args) throws SolrServerException,
IOException {
// List<SolrStoredAddress> addrs = new ArrayList<SolrStoredAddress>();
// for (int i = 0; i < 10; i++) {
// SolrStoredAddress add = new SolrStoredAddress();
// add.setId(new Long(i));
// add.setName("add" + i);
// add.setCountryName("country" + i);
// addrs.add(add);
// }
// SolrAddressUtils.addAddresses(addrs);
server.setBaseURL(SOLR_URL + "/" + "country1");
List<SolrStoredAddress> addrs = new ArrayList<SolrStoredAddress>();
for (int i = 0; i < 10000; i++) {
SolrStoredAddress add = new SolrStoredAddress();
add.setId(String.valueOf(i));
add.setName("add" + i);
add.setCountryName("country1");
addrs.add(add);
}
SolrAddressUtils.addAddresses(addrs);
}
}
package com.star.basic.system.solr.utils;
import java.io.File;
import java.io.IOException;
import org.apache.solr.client.solrj.SolrServer;
import org.apache.solr.client.solrj.SolrServerException;
import org.apache.solr.client.solrj.request.CoreAdminRequest;
import org.apache.solr.common.util.NamedList;
import com.star.osgi.utils.FileUtils;
public class SolrUtils {
private static final String DEFAULT_CORE_NAME = "default_core";
/**
* 判断server中是否已经有对应的core
*
* @param coreName
* @param server
* @return
* @throws SolrServerException
* @throws IOException
*/
public static boolean hasCore(String coreName, SolrServer server)
throws SolrServerException, IOException {
NamedList<Object> responseData = CoreAdminRequest
.getStatus(coreName, server).getCoreStatus().get(coreName);
String name = (String) responseData.get("name");
if (name != null && name.equals(coreName)) {
return true;
}
return false;
}
/**
* 创建core：从默认的core中拷贝所需文件，调用接口
*
* @param coreName
* @param server
* @throws SolrServerException
* @throws IOException
*/
public static void createCore(String coreName, SolrServer server)
throws SolrServerException, IOException {
NamedList<Object> list = CoreAdminRequest
.getStatus(DEFAULT_CORE_NAME, server).getCoreStatus()
.get(DEFAULT_CORE_NAME);
String defaultCorePath = (String) list.get("instanceDir");
String solrHome = defaultCorePath.substring(0,
defaultCorePath.indexOf(DEFAULT_CORE_NAME));
File corePath = new File(solrHome, coreName);
if (!corePath.exists()) {
corePath.mkdir();
}
File confPath = new File(corePath.getAbsolutePath(), "conf");
if (!confPath.exists()) {
confPath.mkdir();
}
FileUtils.copyDir(new File(defaultCorePath, "conf"),
new File(corePath.getAbsolutePath(), "conf"));
CoreAdminRequest.createCore(coreName, corePath.getAbsolutePath(),
server);
}
}
查询
@RequestMapping("indexSearch.do")
@ResponseBody
public List<Address> indexSearch(@RequestParam(value = "name",required = false) String name,HttpServletRequest request) throws SolrServerException{
Country country = (Country) request.getSession().getAttribute("country");
if(name == null){
return null;
}
List<SolrStoredAddress> addrs = SolrAddressUtils.querySolrAddresses(name,"country1");
return convertToAddress(addrs);
}
Spring Data Solr也提供了对Solr接口的封装，简化接口调用，同时提供了事务等支持，大致测试配置如下，如有兴趣，可参考官方文档
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:solr="http://www.springframework.org/schema/data/solr"
xsi:schemaLocation="http://www.springframework.org/schema/beans
http://www.springframework.org/schema/beans/spring-beans.xsd
http://www.springframework.org/schema/data/solr
http://www.springframework.org/schema/data/solr/spring-solr-1.0.xsd">
<solr:repositories base-package="solr.test.spring.solr" />
<solr:solr-server id="solrServer" url="http://localhost:8081/solr" />
<bean id="solrTemplate" class="org.springframework.data.solr.core.SolrTemplate">
<constructor-arg index="0" ref="solrServer" />
</bean>
<!-- <solr:embedded-solr-server id="solrServer" solrHome="classpath:solr/test/spring/solr"
/> -->
</beans>
package solr.test.spring.solr;
import java.util.List;
import org.springframework.data.repository.CrudRepository;
import com.star.basic.system.domain.SolrStoredAddress;
public interface AddressSolrRepository extends CrudRepository<SolrStoredAddress, Long> {
List<SolrStoredAddress> findByName(String name);
}
参考资料
solr wikihttp://wiki.apache.org/solr/Solrj
Apache
Solr 4.5.1环境搭建及MYSQL数据导入 http://blog.iyunv.com/weijonathan/article/details/16961299
Spring Data Solr http://docs.spring.io/spring-data/data-solr/docs/current/reference/html/
版权声明：本文为博主原创文章，未经博主允许不得转载。
页:
[1]