ZooKeeper(外部)实例 + SolrCloud(tomcat)实例

5imobi

Solr学习(三) 单独ZooKeeper(外部)实例 + SolrCloud(tomcat)实例
博客分类：

 

• Java
  
• Solr Lucene
  

solr4.2.0ZooKeeperSolrSolrCloud 

　　开场白：
简单讲述如何配置独立的外部 ZooKeeper 集群管理组件来管理 solr集群（多实例solr）
本章建立在 Solr学习(一)  、Soer学习（二）基础上进行配置。
 声明：描述的比较笼统繁琐，有偏差的地方请大家毫不留情的拍砖
　　完成目标： 
单zookeeper（独立）实例 + 多solr-4.2.0（tomcat）实例集群管理。
 
　　前期准备： 
1、下载ZooKeeper-3.4.5.tar.gz解压。
2、完成Solr-4.2.0+Tomcat6.0环境部署（如果为完成请参考Solr学习一）
 
　　名词解释：
8080服务器：下文统称端口为8080的Tomcat6.0服务器。
9090服务器：下文统称端口为9090的Tomcat6.0服务器。
ZooKeeper：下文指ZooKeeper的项目根目录（解压后的目录，尽量不要放在中文目录中）如下图
　　

 开始生产：
　　    步骤1:在 ZooKeeper目录“D:\zookeeper-3.4.5\conf”找到“zoo_sample.cfg”文件(将其备份一下)，改名为“zoo.cfg”，打开它（最好用UE打开！防止乱码！）修改里头内容为（原本很多注释。都被我干掉了！因为哥有强迫症 +_+!!）
Java代码  

• tickTime=2000   
  
• initLimit=10  
  
• syncLimit=5  
  
• dataDir=D:/zookeeper-3.4.5/temp  
  
• clientPort=2181  
  

这里我们要改的是第四个配置 “dataDir”（数据文件的路径）自己设定吧。我是放在ZooKeeper下新建一个文件夹“temp”。
步骤2：
找到“ZooKeeper\\bin”目录的“zkServer.cmd”文件。 双击启动。。。。启动没有报错，说明OK。 
步骤3：
现在开始搞多个solr 实例配置，（分别有多个tomcat 每个tomcat带起1个solr实例）
之前我们配置过tomcat6.0下启动单一solr实例（详见:solr学习一），目前配置多实例（solr+tomcat）  就要解决TOMCAT端口冲突问题。 这里我不多做介绍。我的做法是打开tomcat的startup.bat 文件。  把里头的所有变量都加上2 。
例如： 
Bat代码  

• set "CURRENT_DIR=%cd%"  
  
• if not "%CATALINA_HOME%" == "" goto gotHome  
  

改成 Bat代码  

• set "CURRENT_DIR2=%cd%"  
  
• if not "%CATALINA_HOME2%" == "" goto gotHome   
  

还有server.xml 里头的端口，我这里把常用的 8080改成 9090了，8443改成 9443  反正各种变9.  只要不冲突！只要你记得你改了多少就成！这里自己折腾吧。
 
　　步骤4：
　　    偷懒！把原先“8080服务器”根目录下的solrapp文件夹拷贝到“9090服务器”根目录下。（如果没看之前文章的朋友，这里解释一下“solrapp”是solr-work目录,是我们后来自己建立的文件夹。详见：solr学习一 ）


同样，把“8080服务器下”“webapps”里头的“solr ”文件夹也拷贝到 “9090服务器”的同样目录 “webapps”里。 
 
　　步骤5：
　　    此时要在“9090服务器”上建立jndi指引文件，到“E:\apache-tomcat-6.0.35.9090\conf\Catalina\localhost”下新建“solr.xml”文件（也可以直接去“8080服务器”那边拷贝过来）然后写入内容
 
Java代码  

• <?xml version="1.0" encoding="UTF-8" ?>  
  
• <Context docBase="E:/apache-tomcat-6.0.35.9090/webapps/solr.war" debug="0" crossContext="true" >   
  
•    <Environment name="solr/home" type="java.lang.String" value="E:/apache-tomcat-6.0.35.9090/solrapp/solr" override="true" />   
  
• </Context>  
  

  XML注意： docBase 与 value 两个值根据自己的路径不同做改变， 前者是war包的位置，后者是刚刚自己建立的solrapp目录位置的solr文件夹。   
步骤6：
    打开“8080服务器”路径“E:\apache-tomcat-6.0.35\solrapp\solr”找到项目内的“sor.xml”打开找到“cores”节点。改为如下配置。 
Xml代码  

• <cores adminPath="/admin/cores" defaultCoreName="collection1" host="localhost" hostPort="8080" hostContext="solr" zkClientTimeout="${zkClientTimeout:15000}">  
  
•     <core name="collection1" instanceDir="collection1" />  
  
•   </cores>   
  

    （同上）打开“9090服务器”路径“E:\apache-tomcat-6.0.35\solrapp\solr”找到项目内的“sor.xml”打开找到“cores”节点。改为如下配置
Xml代码  

• <cores adminPath="/admin/cores" defaultCoreName="collection1" host="localhost" hostPort="9090" hostContext="solr" zkClientTimeout="${zkClientTimeout:15000}">  
  
•     <core name="collection1" instanceDir="collection1" />  
  
•   </cores>  
  

 上注意面2个solr.xml 并不是  tomcat\conf\Catalina\localhost目录下的。而是在 \solrapp\solr目录下的。请别弄错了。 xml中defaultCoreName值如果你之前有改变solr的配置，请自行更改，否则照抄我代码， host是ip地址，hostPort则为端口，2个tomcat的端口不一样。注意！
 
步骤7：
既然是集群，要选举一个默认的solr老大对吧。（关于zookeeper选举老大的原则后续在说） 
哈哈。 我指定“8080服务器”的“solr”服务为默认老大。
打开“8080服务器”目录下的bin目录，“E:\apache-tomcat-6.0.35\bin”找到文件“catalina.bat”编辑它（再次建议用UE打开，注意文件编码）在文件第二行加入

 
Bat代码  

• Set JAVA_OPTS=-Dbootstrap_confdir=../solrapp/solr/collection1/conf -Dcollection.configName=clusterconf -DzkRun -DzkHost=localhost:2181 -DnumShards=1   
  

　　注意黄色字体部分。需要根据个人情况不同做不同配置。  
“../solrapp/solr/collection1/conf”这个就是 “E:/apache-tomcat-6.0.35.8080/solrapp/solr/collection1/conf”的后半段。自己看清楚啦。
 然后开始分配小弟（目前刚做老大，只有一个小弟跟着）“9090服务器”是小弟“catalina.bat”文件。第二行加入（别弄错了是9090的文件。）
 
Bat代码  

• set JAVA_OPTS= -DzkHost=localhost:2181  
  

   只要指明zookeeper的路径位置即可。（如果你有很多个小弟。你其他小弟也这么配。） 
　　此时完成了配置了。
测试阶段：
我们测试下！~首先打开zookeeper服务，再分别打开 8080 和 9090 tomcat 服务（注意要先打开zookeeper服务，后开tomcat）。之后IE里头输入 http://localhost:8080/solr


 
 
出现以上图就OK了。  完成~
此时我们关掉其中的一个服务。。 我关了8080服务(废了老大)。 此时我们打开 9090服务地址。
http://localhost:9090/solr


 发现此时 8080已经 gone了。   现在9090暂时变成了老大
 
目前为止。 单zookeeper和多solr的配置已经完成了。 谢谢观赏。
 
小贴士（加入你在启动时候发现，只看到一个solr服务。说明配置有问题，此时修改配置后，需要删除zookeeper的数据文件。  还记得吗？ 数据文件地址在  X:\zookeeper-3.4.5\conf 下的zoo.cfg里头写着呢。   打开看看吧。  其实zookeeper是可以自动横向扩容的。 只是这里没配置。  ）
 
 
 
 
 
分布式搜索Solrcloud启动配置详解
震秦 发布于 1年前，共有 10 条评论
　　Solrcloud是Apache关于Solr分布式搜索的一个解决方案.前面我介绍过Katta,测试发现了很多问题,我还是不敢在公司的项目上使用,毕竟公司都是商业性质的,业务不是那么简单,压力也不小.刚好最近的Solr4.0经过2年Bata终于正式版了,我有理由试一试.
　　先说一下我为什么那么关心Katta,Solrcloud这样的分布式解决方案,因为我们的索引大小已经5.86GB了,而且运行在单台机器上,没有索引备份,备份也是手工备份的.而且机器配置是16核心CPU,8G内存.上面还跑着一个Oracle,分给我的内存大小就在3-4G.我们急需要一个分布式搜索的解决方案.
　　solrcloud的安装和配置在洞庭散人的blog上有介绍: http://www.cnblogs.com/phinecos/archive/2012/02/10/2345634.html
　　感谢洞庭散人,但是他也是在solr中携带的example上演示solrcloud的.下载solr后其中example使用jetty运行的.我总不至于一定要是用jetty吧,我在把例子放到tomcat中运行出现了问题.如下:

我的Tomcat运行在8080端口上,分布式搜索总是在8983端口.造成搜索出现error 好吧,我改端口号8983,然后启动,发现分布式搜索的时使用solr的web实例,而我更改了项目solrl为dsolr了.他没有按照我想要的实例去运行 好吧,我也改成solr运行后,搜索发现他使用nowledgedata-u1:8983/solr这web地址去搜索,不是使用的IP:192.168.1.*:8983/solr去搜索的.机器的hosts文件没有加上IP对应机器名的配置,还是搜索不了…

　　我把上面的配置都更改了一遍,启动了.也能搜索了.但是就是端口号8983,运行的web实例为solr.我实在不爽,怎么办?
　　这个问题我也纠结了很久,看了很多Solr的源码,幸好之前研究Katta也接触了很多Solr源码,发现了问题了.
　　下面是我成功解决上面的问题的一下配置说明.希望对其他人对solrcloud入门有用.当然该配置也可以解决以其他方式运行的问题.
　　我先启动一个伪分布式的Zookeeper,端口号2181.ZooKeeper的配置见: http://blog.csdn.net/shenlan211314/article/details/6185176
　　第一个启动的机器在start的脚本中添加:

JAVA_OPTS="$JAVA_OPTS -Xmx512m -Xms512m -Xmn320m -XX:MaxPermSize=128m -XX:PermSize=128m -Dbootstrap_confdir=/data/solr4.0/solrcloud2/collection1/conf -Dcollection.configName=myconf -DzkHost=192.168.1.20:2181 -DnumShards=2"

　　该服务器启动前必须启动ZooKeeper, 多个zookeeper组成的集群在 -DzkHost=localhost:9983,localhost:8574,localhost:9900. 伪分布式的上面的就好了.
　　bootstrap_confdir:把该地址下的文件上传到zookeeper集群让所有node共享.
　　collection.configName:配置的名称,可以随意,符合基本标示符就可以了
　　numShards:默认为1. 集群中shard的个数,shard才是真正分布式搜索的服务,否则该集群中启动多少台服务器,都是replica, replica只是在该shard挂掉后才起作用
　　追加的参数:

host:是注册到zookeeper集群的机器名.默认是机器名,可以改成机器的IP,那样就免去了更改系统hosts文件了. hostPort:注册到zookeeper集群的访问该服务的端口号.默认8983 hostContext:注册到zookeeper集群的访问该服务器的web实例名.默认是solr

　　好了.其他都没问题,我把hostPort改成8080,分布式搜索的时,该机器上服务注册的端口号还是8983,后来我才发现它并不是指定端口号的,真正起作用的jetty.port.我在tomcat的启动脚本加入-Djetty.port=8080.tomcat在8080上启动.一切OK.达到目的了.

　　如上图:
　　我更改了-Dhost=nowladgedata-n1 -Djetty.port=8080 -DhostPort=8080 -DhostContext=dsolr参数后,每次注册到ZooKeeper的配置不一样[因为不是一次改就造成的],造成了很多节点.其实它是一个节点改变了一些信息再次注册后的
　　可追加关于ZooKeeper的参数:
　　zkRun:运行单独的ZooKeeper,并且该机器是leader
　　zkHost:使用该参数则表明需要连接到其他的Zookeeper集群
　　zkClientTimeout:允许client连接ZooKeeper集群最大的超时时间,也就是说当超过这个时间没有连接上Zookeeper集群,则该Zookeeper集群异常了.
　　ShardId:默认是shard1,shard2…shard N.当指定该值则注册到ZooKeeper集群使用指定的shardId
　　好了.Solrcloud分布式搜索就这么简单,后边的问题就是你怎样维护ZooKeeper集群了,同样Solr/Lucene知识也是你需要掌握的


发表评论
 文明上网，理性发言

• 网友评论 (10)
  

• 张东昊 发表于 1年前 好东西，收藏以后用 评论此回帖

  
  

• java10001 发表于 11个月前 在使用solr服务内嵌的zookeeper集群时，但是我在逐一启动solr服务时，java -Dbootstrap_confdir=./solr/conf -Dcollection.configName=myconf -DzkRun -DzkHost=localhost:9983,localhost:8574,localhost:9900 -DnumShards=2 -jar start.jar 发现控制台一直报错，说localhost:9983,localhost:8574,localhost:9900无法连接，但是实际上我如果按照集群方式启动，单独启动是没有问题的，启动命令如下：java -Dbootstrap_confdir=./solr/conf -Dcollection.configName=myconf -DzkRun -DnumShards=2 -jar start.jar 其实这个例子是按照solr的wiki例子一步一步来的，不知道你这边出现过类似的情况吗？如果您知道原因请多多指教，谢谢 评论此回帖

  
  

• 震秦 发表于 11个月前 引用来自“java10001”的评论 在使用solr服务内嵌的zookeeper集群时，但是我在逐一启动solr服务时，java -Dbootstrap_confdir=./solr/conf -Dcollection.configName=myconf -DzkRun -DzkHost=localhost:9983,localhost:8574,localhost:9900 -DnumShards=2 -jar start.jar 发现控制台一直报错，说localhost:9983,localhost:8574,localhost:9900无法连接，但是实际上我如果按照集群方式启动，单独启动是没有问题的，启动命令如下：java -Dbootstrap_confdir=./solr/conf -Dcollection.configName=myconf -DzkRun -DnumShards=2 -jar start.jar 其实这个例子是按照solr的wiki例子一步一步来的，不知道你这边出现过类似的情况吗？如果您知道原因请多多指教，谢谢 我不喜欢让他内嵌Zookeeper运行,我启动单独的ZooKeeper实例,solrcloud是在tomcat中运行的.你需要在最先启动的solrcloud的tomcat的jvm参数加上 -Dbootstrap_confdir=./solr/conf -Dcollection.configName=myconf -DzkHost=192.168.1.22:2181 -DnumShards=2运行.第二个solrcloud实例只需要-DzkHost=192.168.1.22:2181启动即可.打开浏览器访问cloud节点,你就能看到有2个shard节点了. 评论此回帖

  
  

• java10001 发表于 11个月前 引用来自“震秦”的评论   引用来自“java10001”的评论 在使用solr服务内嵌的zookeeper集群时，但是我在逐一启动solr服务时，java -Dbootstrap_confdir=./solr/conf -Dcollection.configName=myconf -DzkRun -DzkHost=localhost:9983,localhost:8574,localhost:9900 -DnumShards=2 -jar start.jar 发现控制台一直报错，说localhost:9983,localhost:8574,localhost:9900无法连接，但是实际上我如果按照集群方式启动，单独启动是没有问题的，启动命令如下：java -Dbootstrap_confdir=./solr/conf -Dcollection.configName=myconf -DzkRun -DnumShards=2 -jar start.jar 其实这个例子是按照solr的wiki例子一步一步来的，不知道你这边出现过类似的情况吗？如果您知道原因请多多指教，谢谢 我不喜欢让他内嵌Zookeeper运行,我启动单独的ZooKeeper实例,solrcloud是在tomcat中运行的.你需要在最先启动的solrcloud的tomcat的jvm参数加上 -Dbootstrap_confdir=./solr/conf -Dcollection.configName=myconf -DzkHost=192.168.1.22:2181 -DnumShards=2运行.第二个solrcloud实例只需要-DzkHost=192.168.1.22:2181启动即可.打开浏览器访问cloud节点,你就能看到有2个shard节点了.  是使用的外部zookeeper集群吗？ 评论此回帖

  
  

• 震秦 发表于 11个月前 引用来自“java10001”的评论   引用来自“震秦”的评论   引用来自“java10001”的评论 在使用solr服务内嵌的zookeeper集群时，但是我在逐一启动solr服务时，java -Dbootstrap_confdir=./solr/conf -Dcollection.configName=myconf -DzkRun -DzkHost=localhost:9983,localhost:8574,localhost:9900 -DnumShards=2 -jar start.jar 发现控制台一直报错，说localhost:9983,localhost:8574,localhost:9900无法连接，但是实际上我如果按照集群方式启动，单独启动是没有问题的，启动命令如下：java -Dbootstrap_confdir=./solr/conf -Dcollection.configName=myconf -DzkRun -DnumShards=2 -jar start.jar 其实这个例子是按照solr的wiki例子一步一步来的，不知道你这边出现过类似的情况吗？如果您知道原因请多多指教，谢谢 我不喜欢让他内嵌Zookeeper运行,我启动单独的ZooKeeper实例,solrcloud是在tomcat中运行的.你需要在最先启动的solrcloud的tomcat的jvm参数加上 -Dbootstrap_confdir=./solr/conf -Dcollection.configName=myconf -DzkHost=192.168.1.22:2181 -DnumShards=2运行.第二个solrcloud实例只需要-DzkHost=192.168.1.22:2181启动即可.打开浏览器访问cloud节点,你就能看到有2个shard节点了.  是使用的外部zookeeper集群吗？  是的。 评论此回帖

  
  

• clydqua 发表于 11个月前 我也在尝试使用solr cloud +zookeeper, 但是点击solr index page/cloud/tree，发现错误“Loading of undefined failed with HTTP-Status 404“ 评论此回帖

  
  

• 震秦 发表于 11个月前 引用来自“clydqua”的评论 我也在尝试使用solr cloud +zookeeper, 但是点击solr index page/cloud/tree，发现错误“Loading of undefined failed with HTTP-Status 404“ 404说明你的web服务器启动成功了.ZooKeeper相互的访问不是用过IP,是通过机器名.所以你的在你的集群中每台计算机的hosts文件中写上对应的IP == hostname. 评论此回帖

  
  

• clydqua 发表于 11个月前 引用来自“震秦”的评论   引用来自“clydqua”的评论 我也在尝试使用solr cloud +zookeeper, 但是点击solr index page/cloud/tree，发现错误“Loading of undefined failed with HTTP-Status 404“ 404说明你的web服务器启动成功了.ZooKeeper相互的访问不是用过IP,是通过机器名.所以你的在你的集群中每台计算机的hosts文件中写上对应的IP == hostname.  我刚刚尝试使用其内嵌的zookeeper,发现也是同样的错误 评论此回帖

  
  

• 流星划过的瞬间 发表于 10个月前 哥们，在吗！有关zookeeper和solrcloud的方面的问题想请教一下能否透一下邮箱 评论此回帖

  
  

• 震秦 发表于 10个月前 引用来自“流星划过的瞬间”的评论 哥们，在吗！有关zookeeper和solrcloud的方面的问题想请教一下能否透一下邮箱 zhzhenqin AT gmail.com