docker环境下solrcloud+zookeeper集群部署教程

lovegigi

　　前言：两个月前的16年11月份完成的配置，使用的solr6.1和zookeeper3.4，刚刚写成blog，目前版本可能有小版本的变化。
　　本例完成结果为：在docker环境下部署solrcloud集群，同时使用zookeeper集群做配置管理。
一、部署zookeeper集群
　　1、加载images，（两种方式：A下载offical版本zookeeper，B加载导出的tar包。A方式为新部署的情况，B方式为从测试环境部署到正式环境的情况）
　　A下载
　　#下载
　　docker pull zookeeper
　　#重命名
　　docker tag 31z4/zookeeper zookeeper
　　B加载tar包
　　#源服务器上导出tar包
　　#docker save zookeeper:latest > /home/qdadmin/docker/zookeeper.tar
　　#目标服务器上拷贝并且导入
　　scp qdadmin@10.77.9.215:/home/qdadmin/docker/zookeeper.tar /home/qdadmin/docker/
　　docker load  < /home/qdadmin/docker/zookeeper.tar
　　#检查，见到zookeeper
　　docker images

　　2、启动zookeeper集群
　　（步骤说明：
　　首先设置网络，由于zk需要配置ZOO_SERVERS让各zk之间相互知道ip，需要明确的配置ip地址，但是docker宿主机重启或者docker升级重启后，会自动重启container，此时会重新动态分配ip，导致zk集群失效，因此需要对zk设置固定ip。在此我想到的办法是给zk设置ip段为172.18.0.x，这样重启后ip肯定是从172.18.0.2开始的.2.3.4，相当于变相的固定了ip
　　）
　　（参数解释：
--env ZOO_MY_ID=1设置环境变量ZOO_MY_ID，用于配置集群内编号；
--env "ZOO_SERVERS=server.1=172.18.0.2:2888:3888 server.2=172.18.0.3:2888:3888 server.3=172.18.0.4:2888:3888"设置环境变量ZOO_SERVERS，用于配置集群内服务器ip及选举leader所用端口；
--net zknet 设置网络模式，设置固定ip
-v 设置挂载数据目录，否则会自动生成本地目录，路径在/var/lib/docker下）
　　docker network create --subnet=172.18.0.0/16 zknet
docker network ls
　　docker run --name qd-zookeeper1 --restart=always --net zknet --ip 172.18.0.2 -d -p 2191:2181 -m 4096m --env ZOO_MY_ID=1 --env "ZOO_SERVERS=server.1=172.18.0.2:2888:3888 server.2=172.18.0.3:2888:3888 server.3=172.18.0.4:2888:3888" -v /home/docker/zookeeper/data1:/data -v /home/docker/zookeeper/datalog1:/datalog zookeeper:latest
docker run --name qd-zookeeper2 --restart=always --net zknet --ip 172.18.0.3 -d -p 2192:2181 -m 4096m --env ZOO_MY_ID=2 --env "ZOO_SERVERS=server.1=172.18.0.2:2888:3888 server.2=172.18.0.3:2888:3888 server.3=172.18.0.4:2888:3888" -v /home/docker/zookeeper/data2:/data -v /home/docker/zookeeper/datalog2:/datalog zookeeper:latest
docker run --name qd-zookeeper3 --restart=always --net zknet --ip 172.18.0.4 -d -p 2193:2181 -m 4096m --env ZOO_MY_ID=3 --env "ZOO_SERVERS=server.1=172.18.0.2:2888:3888 server.2=172.18.0.3:2888:3888 server.3=172.18.0.4:2888:3888" -v /home/docker/zookeeper/data3:/data -v /home/docker/zookeeper/datalog3:/datalog zookeeper:latest
　　#检查
docker ps

　　4、安装后验证，查看zookeeper状态
　　#进入服务器命令行
　　docker exec -it qd-zookeeper2 /bin/bash
　　#查看zkServer运行状态，Mode为follower或leader
　　bin/zkServer.sh status

　　#测试端口是否开通
　　echo stat|nc localhost 2181
　　#查看环境变量是否正确配置，（与启动命令中env ZOO_SERVERS参数配置相同）
　　cat /conf/zoo.cfg

　　#退出
　　exit
二、部署solr集群
　　solr设计：将dockersolr实例的数据存储目录映射到宿主机上，以/home/docker/solr/zksolrdata文件夹为根目录，每个dockersolr实例使用一个node[x]文件夹作为数据存储目录。
　　1、准备外部配置文件（以zksolrdata文件夹为根目录，拷贝solr实例的conf文件夹，创建每个node所需文件夹）
　　#将solr实例的conf文件夹拷贝到zksolrdata文件夹下（solr实例的conf文件用原有的即可，无需改动）
　　mkdir -p /home/docker/solr/zksolrdata
　　cp -r /home/docker/solr/qdfs/conf /home/docker/solr/zksolrdata/qdfsconf
　　#创建每个node所需文件夹，每个文件夹下必须有solr.xml文件（solr.xml可从solr安装包solr/server/solr/solr.xml路径获取，我是单独提出来放在了本地的一个服务器上）
　　scp qdadmin@10.77.9.215:/home/qdadmin/solr.xml /home/qdadmin/
　　#创建node文件夹并拷贝solr.xml
　　mkdir -p /home/docker/solr/zksolrdata/nodex && cp /home/qdadmin/solr.xml "$_"
　　mkdir -p /home/docker/solr/zksolrdata/node1 && cp /home/docker/solr/zksolrdata/nodex/* "$_"
　　mkdir -p /home/docker/solr/zksolrdata/node2 && cp /home/docker/solr/zksolrdata/nodex/* "$_"
　　mkdir -p /home/docker/solr/zksolrdata/node3 && cp /home/docker/solr/zksolrdata/nodex/* "$_"
　　#验证solr.xml文件存在
　　ls /home/docker/solr/zksolrdata/node3

　　2、使用导出的tar包，启动solr:chinese。（此处为load一个images，或者可以pull下载一个，或者已存在此image则跳过此步）
　　docker load  < /home/qdadmin/docker/solr.tar
　　若从新下载offical版本solr，需要进行一系列配置，包括修改并发访问数（solrConfig.xml）、配置中文分词器jar包。
　　3、启动solr集群
　　（参数解释：
　　-v /home/docker/solr/zksolrdata:/opt/solrdata设置文件夹映射，指向根目录；
　　-c为solr内部命令，使用solrcloud模式启动
　　-z $currentIp:2191,$currentIp:2192,$currentIp:2193/solr 为solr内部命令，设置zookeeper服务器，1-n个地址为zookeeper集群中每一个服务器的地址，“/solr”为zk的后缀分类
　　-s /opt/solrdata/node3 为solr内部命令，设置solrhome地址，分别指向每个含solr.xml的node的文件夹
　　）
　　#临时变量，当前服务器ip，注意修改！
　　export currentIp="10.77.10.13"
　　#执行命令，启动container
　　docker rm -f qd-solrcloud1
　　docker rm -f qd-solrcloud2
　　docker rm -f qd-solrcloud3
　　docker run --name qd-solrcloud1 --restart=always -d -p 8991:8983 -m 4096m -v /home/docker/solr/zksolrdata:/opt/solrdata solr:chinese -c -z $currentIp:2191,$currentIp:2192,$currentIp:2193/solr -s /opt/solrdata/node1
　　docker run --name qd-solrcloud2 --restart=always -d -p 8992:8983 -m 4096m -v /home/docker/solr/zksolrdata:/opt/solrdata solr:chinese -c -z $currentIp:2191,$currentIp:2192,$currentIp:2193/solr -s /opt/solrdata/node2
　　docker run --name qd-solrcloud3 --restart=always -d -p 8993:8983 -m 4096m -v /home/docker/solr/zksolrdata:/opt/solrdata solr:chinese -c -z $currentIp:2191,$currentIp:2192,$currentIp:2193/solr -s /opt/solrdata/node3

　　4、上传conf到zookeeper
　　docker exec -it qd-solrcloud1 /opt/solr/server/scripts/cloud-scripts/zkcli.sh -zkhost $currentIp:2191,$currentIp:2192,$currentIp:2193/solr -cmd upconfig -confdir /opt/solrdata/qdfsconf -confname qdfsconf

　　#需要重启生效
　　docker restart qd-solrcloud1
　　docker restart qd-solrcloud2
　　docker restart qd-solrcloud3
　　#检查配置
　　curl 'http://'$currentIp':8993/solr/admin/configs?action=LIST'

　　5、新建collection
　　（参数解释：
　　name=qdfs 创建collection名为qdfs；
　　collection.configName=qdfsconf 使用configName为qdfsconf；
　　maxShardsPerNode=10 每个服务器可拥有分片的数量；
　　numShards=3 此collection的分片数量，router.name=implicit情况下无效；
　　replicationFactor=2 每个分片的复制数；
　　router.name=implicit 设置路由方式为implicit，此方式可动态添加分片，但存入数据时需要手动指定想存入的分片名，另一个为CompositeID不可添加分片，只能使用分裂分片方式增加分片，存入数据时根据id值平均分配到每个分片；
　　shards=shard_default,shard_H2000,shard_LOCALIZEDMANAGE 设置每个分片的名字，router.name=implicit情况下有效
　　）
　　curl  'http://'$currentIp':8991/solr/admin/collections?action=CREATE&name=qdfs&collection.configName=qdfsconf&maxShardsPerNode=10&numShards=3&replicationFactor=2&router.name=implicit&routerName=implicit&shards=shard_default,shard_H2000,shard_LOCALIZEDMANAGE'

　　6、配置完成
　　#执行此命令获取页面地址
　　echo 'http://'$currentIp':8992/solr/#/~cloud'
　　打开浏览器访问地址进行测试
　　可看到一个collection：qdfs，3个分片：shard_default,shard_H2000,shard_LOCALIZEDMANAGE，每个分片2个复制

三、solrcloud运维常用命令
　　1、新增shard
　　curl 'http://'$currentIp':8993/solr/admin/collections?action=CREATESHARD&collection=qdfs&shard=newShardName'
　　2、添加replica，可通过界面操作，但是非常强烈建议用命令行方式（上次界面方式卡住了，无限重试，生成70多个replica，把整个collection删掉才解决的）
　　curl 'http://'$currentIp':8993/solr/admin/collections?action=ADDREPLICA&collection=qdfs&shard=shard_H2000&node=172.17.0.9:8983_solr'
　　3、增加node，即增加一个dockersolr虚机
　　cp -r /home/docker/solr/zksolrdata/nodex /home/docker/solr/zksolrdata/node4
　　docker run --name qd-solrcloud4 --restart=always -d -p 8994:8983 -m 4096m -v /home/docker/solr/zksolrdata:/opt/solrdata solr:chinese -c -z $currentIp:2191,$currentIp:2192,$currentIp:2193/solr -s /opt/solrdata/node4
　　4、collection、shard、replica其他相关命令
　　curl 'http://'$currentIp':8991/solr/admin/collections?action=CLUSTERSTATUS'
　　##collection
　　#列出collection
　　curl 'http://'$currentIp':8993/solr/admin/collections?action=LIST'
　　#删除collection
　　curl 'http://'$currentIp':8993/solr/admin/collections?action=DELETE&name=qdfs'
　　#重启collection
　　curl 'http://'$currentIp':8993/solr/admin/collection?action=RELOAD&name=qdfs'
　　##shard
　　#分裂shard
　　curl 'http://'$currentIp':8993/solr/admin/collections?action=SPLITSHARD&collection=qdfs&shard=shard1'
　　#新增shard
　　curl 'http://'$currentIp':8993/solr/admin/collections?action=CREATESHARD&collection=qdfs&shard=sharde'
　　#删除shard
　　curl 'http://'$currentIp':8993/solr/admin/collections?action=DELETESHARD&collection=qdfs&shard=sharde'
　　#replica
　　#添加replica
　　curl 'http://'$currentIp':8993/solr/admin/collections?action=ADDREPLICA&collection=qdfs&shard=shard_H2000&node=172.17.0.9:8983_solr'
　　#删除replica
　　curl 'http://'$currentIp':8993/solr/admin/collections?action=DELETEREPLICA&collection=qdfs&shard=shard_H2000&replica=core_node14'
　　##configset
　　#列出configset
　　curl 'http://'$currentIp':8993/solr/admin/configs?action=LIST'
　　#删除configset
　　curl 'http://'$currentIp':8993/solr/admin/configs?action=delete&name=qdfsconf'
　　5、其他
　　#查看文件夹大小
　　du -s /home/docker/solr/zksolrdata/node*/qdfs_shard_H2000_replica*