zookeeper+kafka集群部署+storm集群

ahua671

　　zookeeper+kafka集群部署+storm集群
　　一、环境安装前准备：
　　准备三台机器
　　操作系统：centos6.8
　　jdk:jdk-8u111-linux-x64.gz
　　zookeeper:zookeeper-3.4.11.tar.gz
　　kafka: kafka_2.11-1.0.1.tgz
　　storm:apache-storm-1.2.2.tar.gz
　　配置/etc/hosts(三台上都操作)
　　vi /etc/hosts
　　192.168.1.211canal01
　　192.168.1.212canal02
　　192.168.1.213canal03
　　二、jdk安装（三台）
　　2.1解压软件
　　tar zxvf jdk-8u111-linux-x64.gz
　　mv  jdk-8u111-linux-x64 /usr/local/jdk
　　2.2配置环境变量
　　vi /etc/profile
　　#java
　　JAVA_HOME=/usr/local/jdk
　　PATH=$JAVA_HOME/bin:$PATH
　　CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
　　export JAVA_HOME
　　export PATH
　　export CLASSPATH
　　环境变量生效
　　source /etc/profile
　　三、zookeeper集群安装(三台上操作)
　　3.1解压软件
　　tar zxvf zookeeper-3.4.11.tar.gz
　　mv zookeeper-3.4.11 /usr/local/zookeeper
　　cd /usr/local/zookeeper/conf
　　mv  mv zoo_sample.cfg zoo.cfg
　　3.2、配置zoo.cfg
　　vi zoo.cfg
　　#修改
　　dataDir=/usr/local/zookeeper/data
　　#添加
　　dataLogDir=/usr/local/zookeeper/logs
　　server.1=192.168.1.211:2888:3888
　　server.2=192.168.1.212:2888:3888
　　server.3=192.168.1.213:2888:3888
　　3.3、创建目录
　　mkdir /usr/local/zookeeper/data
　　mkdir /usr/local/zookeeper/logs
　　在192.168.1.211操作
　　echo "1" >/usr/local/zookeeper/data/myid
　　在192.168.1.212操作
　　echo "2" >/usr/local/zookeeper/data/myid
　　在192.168.1.213操作
　　echo "3" >/usr/local/zookeeper/data/myid
　　3.4、启动zookeeper
　　cd /usr/local/zookeeper/bin/
　　./zkServer.sh start
　　3.5、查看状态
　　cd /usr/local/zookeeper/bin/
　　./zkServer.sh status
　　注意：查看zookeeper集群的状态，出现Mode:follower或是Mode:leader则代表成功
　　四、kafka集群安装（三台上操作）
　　4.1解压软件
　　tar zxvf  kafka_2.11-1.0.1.tgz
　　mv kafka_2.11-1.0.1 /usr/local/kafka
　　4.2配置kafka（在三台分别操作）
　　在192.168.1.211操作
　　cd /usr/local/kafka/config/
　　cp server.properties server0.properties
　　vi server0.properties
　　#修改
　　broker.id=0
　　zookeeper.connect=192.168.1.211:2181,192.168.1.212:2181,192.168.1.213:2181
　　在192.168.1.212操作
　　cd /usr/local/kafka/config/
　　cp server.properties server0.properties
　　vi server0.properties
　　#修改
　　broker.id=1
　　zookeeper.connect=192.168.1.211:2181,192.168.1.212:2181,192.168.1.213:2181
　　在192.168.1.213操作
　　cd /usr/local/kafka/config/
　　cp server.properties server0.properties
　　vi server0.properties
　　#修改
　　broker.id=2
　　zookeeper.connect=192.168.1.211:2181,192.168.1.212:2181,192.168.1.213:2181
　　4.3启动kafka(采用后台启动方式)
　　/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server0.properties

　　查看日志是否成功
　　cd /usr/local/kafka/logs
　　tail -200 kafkaServer.out

　　以上图说明成功，没有报错
　　五、storm集群安装（三台都操作）
　　5.1、解压软件
　　tar zxvf apache-storm-1.2.2.tar.gz
　　mv apache-storm-1.2.2 /usr/local/storm
　　5.2、配置storm
　　cd /usr/local/storm/conf/
　　vi storm.yaml
　　##配置
　　storm.zookeeper.servers:
　　- "192.168.1.211"
　　- "192.168.1.212"
　　- "192.168.1.213"
　　storm.zookeeper.port: 2181
　　nimbus.seeds: ["canal01"]
　　storm.local.dir: "/usr/local/storm/storm-local"
　　supervisor.slots.ports:
　　- 6700
　　- 6701
　　- 6702
　　- 6703
　　storm.health.check.dir: "healthchecks"
　　storm.health.check.timeout.ms: 5000
　　5.3、配置环境变量
　　vi /etc/profile
　　##storm
　　export STORM_HOME=/usr/local/storm
　　export PATH=${STORM_HOME}/bin:$PATH
　　环境变量生效
　　source /etc/profile
　　5.4、启动storm
　　在192.168.1.211操作
　　storm nimbus >/dev/null 2>&1 &
　　storm ui &
　　在192.168.1.212操作
　　storm supervisor >/dev/null 2>&1 &
　　在192.168.1.213操作
　　storm supervisor >/dev/null 2>&1 &
　　访问strom http://192.168.1.211:8080