kafka + jstorm版本升级安装（三）

34233

版本升级 (使用stable最新版)
zookeeper-3.4.5 --->>> zookeeper-3.4.6
发行日志：http://zookeeper.apache.org/doc/r3.4.6/releasenotes.html
kafka_2.9.2-0.8.1   --->>> kafka_2.9.2-0.8.2.2
发行日志：https://archive.apache.org/dist/kafka/0.8.2.2/RELEASE_NOTES.html
升级说明：http://kafka.apache.org/documentation.html#upgrade_82
jstorm-0.9.2 --->>> jstorm-2.1.0
机器规划（使用hadoop用户，采用解压缩的方式安装）

host	ip	server
vm13	10.1.2.208	Kafka，QuorumPeerMain（zookeeper），Supervisor（Jstorm），NimbusServer（Jstorm）
vm7	10.1.2.197	Kafka，QuorumPeerMain（zookeeper），Supervisor（Jstorm）
vm8	10.1.2.198	Kafka，QuorumPeerMain（zookeeper），Supervisor（Jstorm）

机器配置
CPU：24核，内存：64G，磁盘2T*4

---

zookeeper安装
1.进入主目录，cd /home/hadoop
2.下载zookeeper安装包，http://mirrors.hust.edu.cn/apache/zookeeper/stable/zookeeper-3.4.6.tar.gz
3.解压安装包，tar -zxf zookeeper-3.4.6.tar.gz
4.进入目录，cd zookeeper-3.4.6
5.将conf/zoo_sample.cfg拷贝一份命名为zoo.cfg也放在conf目录下，修改其中的配置
vi conf/zoo.cfg
tickTime=2000

initLimit=10

syncLimit=5

dataDir=/data0/zookeeper/data

clientPort=2181

server.1=10.1.2.208:12888:13888
server.2=10.1.2.197:12888:13888
server.3=10.1.2.198:12888:13888
vi conf/log4j.properties
zookeeper.root.logger=INFO,ROLLINGFILE
zookeeper.console.threshold=INFO
zookeeper.log.dir=/data0/zookeeper/logs
zookeeper.log.file=zookeeper.log
zookeeper.log.threshold=INFO
zookeeper.tracelog.dir=/data0/zookeeper/logs
zookeeper.tracelog.file=zookeeper_trace.log
vi bin/zkEnv.sh

if [ "x${ZOO_LOG_DIR}" = "x" ]
then
    ZOO_LOG_DIR="/data0/zookeeper/logs"
fi

if [ "x${ZOO_LOG4J_PROP}" = "x" ]
then
    ZOO_LOG4J_PROP="INFO,ROLLINGFILE"
fi
分别在每个节点的${zookeeper.log.dir}目录下创建myid，内容为serverId
比如在10.1.2.208上，echo ''1 > /data0/zookeeper/data/myid


6.启动服务
依次在三个节点上启动 ./bin/zkServer.sh start
7.验证测试
使用客户端进入zookeeper控制套台 ./bin/zkCli.sh -server dckafka1:12181
查看当前服务是leader还是flower， ./bin/zkServer.sh status
8.参考文档
log4j配置：http://www.cnblogs.com/zhwbqd/p/3957018.html
                 http://stackoverflow.com/questio ... -file-log-directory

---

kafka安装
1.进入主目录，cd /home/hadoop
2.下载kafka安装包，wget "http://mirrors.hust.edu.cn/apache/kafka/0.8.2.2/kafka_2.9.2-0.8.2.2.tgz"
3.解压安装包，tar -zxf kafka_2.9.2-0.8.2.2.tgz
4.进入目录，cd kafka_2.9.2-0.8.2.2
5.配置修改（更多配置请参考http://kafka.apache.org/documentation.html#topic-config）
vi conf/server.properties
# 每个broker都可以用一个唯一的非负整数id进行标识
broker.id=0  

# 服务监听端口
port=9092
# broker处理网络请求的最大线程数，一般情况下数量为CPU核数
num.network.threads=12
# broker处理磁盘IO的最大线程数，数值为CPU核数两倍
num.io.threads=12
# kafka存放数据的路径。这个路径并不是唯一的，可以是多个，路径之间只需要使用逗号分隔即可；每当创建新partition时，都会选择在包含最少partitions的路径下进行
log.dirs=/data2/kafka/data,/data3/kafka/data
# 默认topic分区数，也可以在创建topic时指定
num.partitions=6
# 关闭自动创建topics
auto.create.topics.enable=false
# 允许删除topics
delete.topic.enable=true

# log保留的最大时间，小时单位
log.retention.hours=72
# zookeeper连接字符串的格式为：hostname1:port1, hostname2:port2, hostname3:port3，
# zooKeeper增加一个“chroot”路径，将集群中所有kafka数据存放在特定的路径下，格式为：hostname1:port1，hostname2:port2，hostname3:port3/chroot/path
# 这样设置就将所有kafka集群数据存放在/chroot/path路径下。注意，在你启动broker之前，你必须创建这个路径，并且consumers必须使用相同的连接格式。
zookeeper.connect=vm13:2181,vm7:2181,vm8:2181
vi conf/consumer.properties
# 消费端链接的zookeeper配置，要与server.properties中的zookeeper.connect保存一致
zookeeper.connect=vm13:2181,vm7:2181,vm8:2181

# 一般会在consumer客户端自定义group
group.id=test.consumer-group
vi conf/producer.properties
# kafka broker列表
metadata.broker.list=vm13:9092,vm7:9092,vm8:9092

# 消息异步发送到broker
producer.type=async
# 异步批量发送的消息数
batch.num.messages=200
vi conf/log4j.properties
# 指定服务日志目录
kafka.logs.dir=/data2/kafka/logs
log4j.rootLogger=INFO, kafkaAppender


创建启动脚本 cat > startKafkaServer.sh

nohup ./bin/kafka-server-start.sh config/server.properties &
if [ $? -eq 0 ]; then
echo "Kafka server start success..."
else
echo "Kafka server start success..."
fi


6.启动服务
./startKafkaServer.sh
7.验证测试
a.创建topic
   ./bin/kafka-topics.sh --zookeeper dckafka1:12181,dckafka2:12181 --create  --topic mytest --replication-factor 1 --partitions 9
b.查看topic列表
   ./bin/kafka-topics.sh --zookeeper dckafka1:12181,dckafka2:12181 --list
c.创建生产者
   ./bin/kafka-console-producer.sh --broker-list dckafka1:9092,dckafka2:9092,dckafka3:9092 --topic mytest
d.创建消费者

  ./bin/kafka-console-consumer.sh --zookeeper dckafka1:12181,dckafka2:12181,dckafka3:12181 --topic mytest --from-beginning

---

jstorm安装
1.进入主目录，cd /home/hadoop
2.下载storm包，wget "http://42.121.19.155/jstorm/jstorm-2.1.0.tar.bz2"
（This version is for Alibaba Global Shopping Festival, November 11th 2015）
3.解压安装包，tar -jxf jstorm-2.1.0.tar.bz2
4.变更目录，mv deploy/jstorm jstorm-2.1.0; cd jstorm-2.1.0
   jstorm-2.1.0新增了一些部署和管理脚本脚本，这里先不用理会
5.配置修改（参考https://github.com/alibaba/jstorm/wiki/如何安装）
  vi ~/.bashrc
  修改或添加如下内容
  export JSTORM_HOME=/home/hadoop/jstorm-2.1.0
  export PATH=$PATH:$JSTORM_HOME/bin

  vi conf/storm.yaml
  修改或添加如下内容
  storm.zookeeper.servers:
     - "dckafka1"
     - "dckafka2"
     - "dckafka3"
  storm.zookeeper.port: 2181
  storm.zookeeper.root: "/jstorm2"
  storm.local.dir: "/data1/jstorm/data"

  jstorm.log.dir: "/data1/jstorm/logs"

  supervisor.slots.ports.base: 6800
  supervisor.slots.port.cpu.weight: 1.0
  supervisor.slots.port.mem.weight: 0.6
6.启动服务
  nohup ./bin/jstorm supervisor & （所有机器都执行）
  nohup ./bin/jstorm nimbus &（选择一台机器作为nimbus节点）
7.安装jstorm Web UI
mkdir ~/.jstorm
cp $JSTORM_HOME/conf/storm.yaml ~/.jstorm
将jstorm-ui-2.1.0.war放入tomcat容器，启动
访问UI页面：http://127.0.0.1:9091
8.提交topology任务（对于提交客户端，需要在home目录下创建 ln -s .jstorm/storm.yaml $JSTORM_HOME/conf/storm.yaml）