zookeeper，kafka，jstorm，memcached，mysql流式数据处理平台部署
一．平台环境介绍:1．系统信息：
项目信息系统版本:
Ubuntu14.04.2 LTS \n \l用户：*****密码：******Java环境：openjdk-7-jre语言：en_US.UTF-8，en_US:en磁盘：
每台vda为系统盘(50G),vdb为数据盘(200G)挂载于/storage目录
hcloud15最为DB，第二块磁盘为2000G主机范围：192.168.21.7~192.168.21.15,192.168.21.17,192.168.21.18（11台）主机名：以IP地址为准，依次为hcloud07~hcloud182．服务组件分布：
服务名称分布主机Zookeeperhcloud12,hcloud13,hcloud14Kafkahcloud07,hcloud08Jstormhcloud09,hcloud10,hcloud11Memcachedhcloud13,hcloud14Mysqlhcloud15Web-UIhcloud17二．平台环境配置:
三．Zookeeper配置:
1.安装主程序及需要的组件：
apt-get install-y libzookeeper-java libzookeeper-mt2 zookeeper zookeeperd2.修改配置文件：
2.1．zookeeper主配置文件
vim /etc/zookeeper/conf/zoo.cfg
##修改数据目录
dataDir=/storage/lib/zookeeper
##所有zookeeper主机
server.1=hcloud12:2888:3888
server.2=hcloud13:2888:3888
server.3=hcloud14:2888:3888
## 2.2 做启动前准备
mkdir -p/storage/lib/zookeeper
cd /storage/lib/zookeeper
ln -s/etc/zookeeper/conf/myid myid
vim myid
##填入zookeeper主机的编号，第一台是若是1,依次往后类推
1
##3.测试启动及定义自动启动：
3.1测试启动
invoke-rc.d zookeeper start
#正常情况下会启动成功，若失败请根据失败信息查找原因，或查看日志
tail -f/var/log/zookeeper/zookeeper.lo 3.2随机自动启动
update-rc.dzookeeper defaults四．Jstorm配置:
[*]下载解压主程序包
cd /srv
wget http://42.121.19.155/jstorm/jstorm-2.0.4-SNAPSHOT.tar.gz
tar zxfjstorm-2.0.4-SNAPSHOT.tar.gz2.修改配置文件
vimconf/storm.yaml
##注意缩进，加入zookeeper主机的IP地址，和jstorm监听的端口
storm.zookeeper.servers:
- "192.168.21.12"
- "192.168.21.13"
- "192.168.21.14"
supervisor.slots.ports:
- 6800
- 6801
- 6802
- 6803
- 6804
- 6805
- 6806
- 6807
##Nimbus和Supervisor节点配置文件相同3.测试启动及定义自动启动：
3.1测试启动
3.1.1在nimbus节点上执行：
nohup jstorm nimbus &
查看$JSTORM_HOME/logs/nimbus.log检查有无错误3.1.2在supervisor节点上执行
nohup jstorm supervisor &
查看$JSTORM_HOME/logs/supervisor.log检查有无错误3.2随机自动启动
3.2.1Nimbus节点
vim /srv/jstorm/StartNimbus.sh
##加入环境变量，和启动命令
exportJSTORM_HOME=/srv/jstorm
export PATH=$PATH:$JSTORM_HOME/bin
nohup $JSTORM_HOME/bin/jstorm nimbus >$JSTORM_HOME/StartNimbus.log &
##
chmod+x /srv/jstorm/StartNimbus.sh
vim/etc/rc.local
##添加以下一行，开机就会自动执行StartNimbus.sh脚本启动jstorm
/srv/jstorm/StartNimbus.sh
##3.2.2Supervisor节点
vim /srv/jstorm/StartSupervisor.sh
##加入环境变量，和启动命令
export JSTORM_HOME=/srv/jstorm
exportPATH=$PATH:$JSTORM_HOME/bin
nohup$JSTORM_HOME/bin/jstorm supervisor > $JSTORM_HOME/StartSupervisor.log &
chmod+x /srv/jstorm/StartSupervisor.sh
vim/etc/rc.local
##添加一下一行
/srv/jstorm/StartSupervisor.sh
##五．Kafka配置:
1.下载解压主程序包
cd/srv
wget http://www.eu.apache.org/dist//kafka/0.8.2.1/kafka_2.9.2-0.8.2.1.tgz
tar zxfkafka_2.9.2-0.8.2.1.tgz2.修改配置文件
cdkafka_2.9.2-0.8.2.1/
vim config/server.properties
##
broker.id=1 #第二个节点依次类推
log.retention.hours=48
zookeeper.connect=192.168.21.12:2181,192.168.21.13:2181,192.168.21.14:2181
##填入zookeeper的主机的IP3.测试启动及自动启动
vim/srv/kafka_2.9.2-0.8.2.1/StartKafka.sh
##原理同Jstorm一样
exportKAFKA_HOME=/srv/kafka_2.9.2-0.8.2.1
nohup$KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties \\
>$KAFKA_HOME/StartKafka.log &
##
chmod+x /etc/init.d/StartKafka.sh
vim /etc/rc.loca
##添加一行
/srv/kafka_2.9.2-0.8.2.1/StartKafka.sh
##六．Memcached配置:
1.安装主程序
vim /etc/memcached.conf
##将以下行注释
# -l 127.0.0.1
##2.启动以及自动启动
启动：invoke-rc.dmemcached start
随机自动启动：update-rc.dmemcacheddefaults七．Mysql配置：
1.安装主程序
apt-get instlal mysql-server-5.5
##安装过程需要输入mysql密码2.修改配置文件
2.1.修改数据库的data路径(mysql的默认data路径在/var/lib/mysql目录下)
invoke-rc.d mysqlstop
mkdir -p /storage/lib/mysql
chown -Rmysql:mysql/storage/lib
cp -pR/var/lib/mysql/storage/lib/
vim /etc/apparmor.d/usr.sbin.mysqld
##做如下修改，注意末尾逗号
#/var/lib/mysql/ r,
#/var/lib/mysql/** rwk,
/storage/lib/mysql/r,
/storage/lib/mysql/** rwk,
##2.2.修改主配文件
vim /etc/my sql/my.cnf
##做如下修改：
#datadir = /var/lib/mysql
datadir =/storage/lib/mysql
##3.启动和自启动
3.1.启动
/etc/init.d/apparmor restart
invoke-rc.d mysqlstart3.2自启动
update-rc.d mysql defaults八．Jstorm，Zookeeper的Web-UI配置：
1.Jstorm-Web-UI
安装tomcat部署Web-UI程序
apt-getinstall tomcat7 –y
cd/usr/share/tomcat7/
mkdir-p.jstorm
##复制jstorm主机的配置文件到/usr/share/tomcat7/.jstorm/目录下
cp-f $JSTORM_HOME/conf/storm.yaml ~/.jstorm/
cd /srv
wget http://42.121.19.155/jstorm/jstorm-2.0.4-SNAPSHOT.tar.gz
tar zxfjstorm-2.0.4-SNAPSHOT.tar.gz
cd/var/lib/tomcat7/webapps
cp /srv/jstorm/jstorm-ui-0.9.6.2.war./
mv ROOT ROOT.old
ln -sjstorm-ui-2.0.4-SNAPSHOT ROOT 2.Zookeeper-Web-UI
2.1. 下载
3.jstorm 与Apache 整合
3.1Apache加载ajp模块
Apache2.2 以上可以使用ajp方式，简单方便；
执行以下命令查看Apache已经加载的模块：
apachectl -t -D DUMP_MODULES
执行以下命令加载proxy_ajp 模块：
a2enmodproxy_ajp
可以使用查看命令查看已开启的模块：
apachectl -t -D DUMP_MODULES
http://s4.运维网.com/wyfs02/M01/75/B3/wKioL1ZAi7_xiTwKAAAgyH70Nas173.png
3.2配置Apache 虚拟目录：
vim /etc/apache2/sites-enabled/js.conf
##
ServerName localhost
DocumentRoot"/var/lib/tomcat7/webapps/"
ProxyRequests Off
ProxyPreserveHost On
Order Deny,Allow
Deny from all
Allow from all
ProxyPass /jstormajp://localhost:8009/
ProxyPa***everse /jstormajp://localhost:8009/
## 3.3配置tomcat
vim /etc/tomcat7/server.xml
#将下行注释取消
3.4参考链接
https://confluence.atlassian.com/jira/configuring-apache-reverse-proxy-using-the-ajp-protocol-183468775.html
http://chirag.bodar.in/configure-apache-httpd-24-with-tomcat-7x-on-ubuntu-1204-1304-and-1404
页:
[1]