zookeeper，kafka，jstorm，memcached，mysql流式数据处理平台部署

34543

一．平台环境介绍:

1．系统信息：

项目	信息
系统版本:	Ubuntu14.04.2 LTS \n \l
用户：	*****
密码：	******
Java环境：	openjdk-7-jre
语言：	en_US.UTF-8，en_US:en
磁盘：	每台vda为系统盘(50G),vdb为数据盘(200G)挂载于/storage目录 hcloud15最为DB，第二块磁盘为2000G
主机范围：	192.168.21.7~192.168.21.15,192.168.21.17,192.168.21.18（11台）
主机名：	以IP地址为准，依次为hcloud07~hcloud18

2．服务组件分布：

服务名称	分布主机
Zookeeper	hcloud12,hcloud13,hcloud14
Kafka	hcloud07,hcloud08
Jstorm	hcloud09,hcloud10,hcloud11
Memcached	hcloud13,hcloud14
Mysql	hcloud15
Web-UI	hcloud17

二．平台环境配置:

三．Zookeeper配置:

1.安装主程序及需要的组件：

apt-get install  -y libzookeeper-java libzookeeper-mt2 zookeeper zookeeperd

2.修改配置文件：

   2.1．zookeeper主配置文件

vim /etc/zookeeper/conf/zoo.cfg##修改数据目录dataDir=/storage/lib/zookeeper##所有zookeeper主机server.1=hcloud12:2888:3888server.2=hcloud13:2888:3888server.3=hcloud14:2888:3888##

   2.2 做启动前准备

mkdir -p/storage/lib/zookeepercd /storage/lib/zookeeperln -s/etc/zookeeper/conf/myid    myidvim myid ##填入zookeeper主机的编号，第一台是若是1,依次往后类推1##

3.测试启动及定义自动启动：

   3.1测试启动

invoke-rc.d zookeeper start#正常情况下会启动成功，若失败请根据失败信息查找原因，或查看日志tail -f/var/log/zookeeper/zookeeper.lo

   3.2随机自动启动

update-rc.dzookeeper defaults

四．Jstorm配置:

• 下载解压主程序包
  
  

cd /srvwget http://42.121.19.155/jstorm/jstorm-2.0.4-SNAPSHOT.tar.gztar zxfjstorm-2.0.4-SNAPSHOT.tar.gz

2.修改配置文件

vim  conf/storm.yaml##注意缩进，加入zookeeper主机的IP地址，和jstorm监听的端口 storm.zookeeper.servers:     - "192.168.21.12"     - "192.168.21.13"     - "192.168.21.14" supervisor.slots.ports:    - 6800    - 6801    - 6802    - 6803    - 6804    - 6805    - 6806- 6807##Nimbus和Supervisor节点配置文件相同

3.测试启动及定义自动启动：

3.1测试启动

3.1.1在nimbus节点上执行：

nohup jstorm nimbus &  查看$JSTORM_HOME/logs/nimbus.log检查有无错误

3.1.2在supervisor节点上执行

nohup jstorm supervisor &查看$JSTORM_HOME/logs/supervisor.log检查有无错误

3.2随机自动启动

3.2.1Nimbus节点

vim /srv/jstorm/StartNimbus.sh ##加入环境变量，和启动命令 exportJSTORM_HOME=/srv/jstorm export PATH=$PATH:$JSTORM_HOME/bin  nohup $JSTORM_HOME/bin/jstorm nimbus >$JSTORM_HOME/StartNimbus.log &## chmod  +x /srv/jstorm/StartNimbus.sh vim/etc/rc.local##添加以下一行，开机就会自动执行StartNimbus.sh脚本启动jstorm /srv/jstorm/StartNimbus.sh##

3.2.2Supervisor节点

vim /srv/jstorm/StartSupervisor.sh  ##加入环境变量，和启动命令 export JSTORM_HOME=/srv/jstorm  exportPATH=$PATH:$JSTORM_HOME/bin  nohup$JSTORM_HOME/bin/jstorm supervisor > $JSTORM_HOME/StartSupervisor.log &  chmod  +x /srv/jstorm/StartSupervisor.sh  vim/etc/rc.local##添加一下一行  /srv/jstorm/StartSupervisor.sh##

五．Kafka配置:

1.下载解压主程序包

cd  /srvwget http://www.eu.apache.org/dist//k ... .9.2-0.8.2.1.tgztar zxf  kafka_2.9.2-0.8.2.1.tgz

2.修改配置文件

cdkafka_2.9.2-0.8.2.1/vim config/server.properties##broker.id=1    #第二个节点依次类推log.retention.hours=48zookeeper.connect=192.168.21.12:2181,192.168.21.13:2181,192.168.21.14:2181##填入zookeeper的主机的IP

3.测试启动及自动启动

vim/srv/kafka_2.9.2-0.8.2.1/StartKafka.sh##原理同Jstorm一样exportKAFKA_HOME=/srv/kafka_2.9.2-0.8.2.1nohup$KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties \\>$KAFKA_HOME/StartKafka.log &##chmod  +x /etc/init.d/StartKafka.shvim /etc/rc.loca##添加一行/srv/kafka_2.9.2-0.8.2.1/StartKafka.sh##

六．Memcached配置:

1.安装主程序

vim /etc/memcached.conf##将以下行注释# -l 127.0.0.1##

2.启动以及自动启动

启动：invoke-rc.d  memcached start随机自动启动：update-rc.d  memcacheddefaults

七．Mysql配置：

1.安装主程序

apt-get instlal mysql-server-5.5##安装过程需要输入mysql密码

2.修改配置文件

2.1.修改数据库的data路径(mysql的默认data路径在/var/lib/mysql目录下)

invoke-rc.d mysql  stopmkdir -p /storage/lib/mysqlchown -Rmysql:mysql  /storage/libcp -pR  /var/lib/mysql  /storage/lib/vim /etc/apparmor.d/usr.sbin.mysqld##做如下修改，注意末尾逗号#  /var/lib/mysql/ r,#  /var/lib/mysql/** rwk,/storage/lib/mysql/r,/storage/lib/mysql/** rwk,##

2.2.修改主配文件

vim /etc/my     sql/my.cnf##做如下修改：#datadir                = /var/lib/mysqldatadir         =/storage/lib/mysql##

3.启动和自启动

3.1.启动

/etc/init.d/apparmor restartinvoke-rc.d mysql  start

3.2自启动

update-rc.d mysql defaults

八．Jstorm，Zookeeper的Web-UI配置：

1.Jstorm-Web-UI
安装tomcat部署Web-UI程序

1 2 3 4 5 6 7 8 9 10 11 12

apt-get  install tomcat7 –y cd/usr/share/tomcat7/ mkdir  -p  .jstorm ##复制jstorm主机的配置文件到/usr/share/tomcat7/.jstorm/目录下 cp-f $JSTORM_HOME/conf/storm.yaml ~/.jstorm/ cd /srv wget http://42.121.19.155/jstorm/jstorm-2.0.4-SNAPSHOT.tar.gz tar zxfjstorm-2.0.4-SNAPSHOT.tar.gz cd/var/lib/tomcat7/webapps cp /srv/jstorm/jstorm-ui-0.9.6.2.war  ./ mv ROOT ROOT.old ln -sjstorm-ui-2.0.4-SNAPSHOT ROOT

2.Zookeeper-Web-UI
2.1. 下载
3.jstorm 与Apache 整合
3.1Apache加载ajp模块
Apache2.2 以上可以使用ajp方式，简单方便；
执行以下命令查看Apache已经加载的模块：
apachectl -t -D DUMP_MODULES
执行以下命令加载proxy_ajp 模块：
a2enmod  proxy_ajp
可以使用查看命令查看已开启的模块：
apachectl -t -D DUMP_MODULES

3.2配置Apache 虚拟目录：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

vim /etc/apache2/sites-enabled/js.conf ## <VirtualHost*:80>       ServerName localhost       DocumentRoot"/var/lib/tomcat7/webapps/"        ProxyRequests Off        ProxyPreserveHost On <Proxy*>             Order Deny,Allow             Deny from all             Allow from all </Proxy>        ProxyPass /jstorm  ajp://localhost:8009/        ProxyPassReverse /jstorm  ajp://localhost:8009/ </VirtualHost> ##

3.3配置tomcat

1 2 3

vim /etc/tomcat7/server.xml #将下行注释取消 <Connectorport="8009" protocol="AJP/1.3" redirectPort="8443"/>

3.4参考链接
https://confluence.atlassian.com ... ocol-183468775.html
http://chirag.bodar.in/configure ... -1204-1304-and-1404