Storm+zookeeper+metaq 环境安装配置

红色多瑙河

大数据分析处理中storm 相关的安装配置说明，linux 系统
1. 前提是已经安装好 JDK
2. 首选下载并安装 zookeeper 
下载官网地址： http://hadoop.apache.org/zookeeper/releases.html
比如下载 zookeeper-3.4.6.tar.gz 版本，将该版本放入到 linux 服务器上， 
进行解压： tar –zxvf zookeeper-3.4.6.tar.gz 
设置环境变量
vi /etc/profile
export ZOOKEEPER_HOME=/opt/zookeeper-3.4.6
PATH=$ZOOKEEPER_HOME/bin:$PATH
export PATH
source /etc/profile 
进入conf目录下的zoo_sample.cfg文件拷贝一份，命名为为“zoo.cfg” 修改 zoo.cfg 配置文件
修改zoo.cfg内容为：
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# 数据和日志存放路径.
dataDir=/urs/dpap/zookeeper/data
dataLogDir=/urs/dpap/zookeeper/logs
# 客户端端口号
clientPort=4180
# 2888,3888 are election port
server.1=zookeeper:2888:3888
 
server.2=zookeeper:2888:3888
其中，2888端口号是zookeeper服务之间通信的端口，而3888是zookeeper与其他应用程序通信的端口。而zookeeper是在hosts中已映射了本机的ip。 initLimit：这个配置项是用来配置 Zookeeper 接受客户端（这里所说的客户端不是用户连接 Zookeeper服务器的客户端，而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10 个心跳的时间（也就是 tickTime）长度后 Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是 5*2000=10 秒。 syncLimit：这个配置项标识 Leader 与 Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是 2*2000=4 秒。 server.A=B：C：D：其中 A 是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式，由于 B 都是一样，所以不同的 Zookeeper 实例通信端口号不能一样，所以要给它们分配不同的端口号。


 
 
注意：在配置server 中不需要配置 自己机器的IP 地址，如果是集群配置： server.A=B：C：D 每台机器的顺序要一直 ZooKeeper单节点以Standalone模式运行，不过它的长处在于通过分布式ZooKeeper集群（一个Leader，多个Follower） 集群状态：
./zkServer.sh status
JMX enabled by default
Using config: /opt/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
创建dataDir参数指定的目录(这里指的是“/urs/dpap/zookeeper/data”)，并在目录下创建文件，命名为“myid”。
编辑“myid”文件，并在对应的IP的机器上输入对应的编号。如在zookeeper上，“myid”文件内容就是1。由于本次只在单点上进行安装配置，所以只有一个server.1。若还有其他服务器，比如地址为192.168.1.102，则在zoo.cfg文件中还需加入server.2=192.168.1.102:2888:3888。那么myid文件在192.168.1.102服务器上的内容就是2。 至此，如果是多服务器配置，就需要将zookeeper-3.4.6目录拷贝到其他服务器，然后按照上述的方法修改myid。
启动zookeeper
hadoop@ubuntu:~/zookeeper-3.4.6/bin$ ./zkServer.sh start #启动 
hadoop@ubuntu:~/zookeeper-3.4.6/bin$ jps #查看启动的服务名称
hadoop@ubuntu:~/zookeeper-3.4.6/bin$ ./zkServer.sh stop #关闭
启动客户端脚本：zookeeper-3.4.6/bin/zkCli.sh -server localhost:4180
执行测试--创建节点：create /mytest test  
列出节点 ls / 
 获取节点信息 get /mytest test
3. 安装ZeroMQ
下载地址：http://download.zeromq.org/ 选择zeromq-4.0.5.tar.gz
解压：tar –xzvf zeromq-4.0.5.tar.gz
进入：cd zeromq-4.0.5
执行：./configure
       make
       sudo make install
注意事项：
1. 如果安装过程报错uuid找不到，则通过如下的包安装uuid库：
     #   yum install uuid*
sudo yum install e2fsprogsl  -b current
sudo yum install e2fsprogs-devel  -b current
4. 安装JZMQ
下载地址：https://github.com/nathanmarz/jzmq  jzmq-master.zip
解压: unzip jzmq-master.zip
进入: cd jzmq-master
执行： ./autogen.sh
        ./ configure
        make 
sudo make install
5. 安装Python 
  下载地址：https://www.python.org/ftp/python/3.5.0/  Python-3.5.0a3.tgz
 解压： tar –zxvf Python-3.5.0a3.tgz
 进入：cd Python-3.5.0a3
 执行：./configure
          make
make install
执行完成 查看版本信息：python -V
6. 安装淘宝： metamorphosis 
下载地址: https://github.com/killme2008/Metamorphosis/tree/metamorphosis-all-1.4.6.2
 
Maven 下载：
<dependency>
    <groupId>com.taobao.metamorphosis</groupId>
    <artifactId>metamorphosis-client</artifactId>
    <version>1.4.6.2</version> 
</dependency>
学习资料：https://github.com/killme2008/Metamorphosis/wiki
解压： tar –zxvf metaq-server-1.4.6.2.tar.gz
进入: cd taobao/metamorphosis-server-wrapper/conf
 编辑： vi server.ini这是meta服务器的配置文件
主要关注这几个配置项：
· brokerId 服务器ID，必须是集群内唯一
· numPartitions 默认每个topic的分区数目
· dataPath 数据文件的存放路径，默认在user.home/meta下
zookeeper配置：
以下为zk配置，可以为空，为空将从diamond获取（目前不提供），不为空则优先使用下列配置
zk.zkConnect=localhost:2181
;zk心跳超时，单位毫秒，默认30秒
zk.zkSessionTimeoutMs=30000
;zk连接超时时间，单位毫秒，默认30秒
zk.zkConnectionTimeoutMs=30000
;zk数据同步时间，单位毫秒，默认5秒
zk.zkSyncTimeMs=5000
 
metaq 和 zookeeper 集群配置：
zk.zkConnect=server1:4180,server2:4180,server3:4180
zookeeper的地址也可以通过diamond管理，如果本地不明确配置zookeeper，则设置diamond的dataId和group即可自动从diamond获取zookeeper配置（目前不提供，要注释掉）：
;zk在diamond中配置存储的dataId
;diamondZKDataId=metamorphosis.zkConfig
;zk在diamond中配置存储的group
;diamondZKGroup=DEFAULT_GROUP
 

 system：基本系统参数，包括唯一的brokerId、numPartition分片设置等；
zookeeper：图中配置了3台zookeeper，也就是zookeeper的集群；
topic：消息的主题订阅，发送与接收消息的标识。
 
启动服务：
cd bin
   ./ metaServer.sh start
关闭服务：
关闭服务器通过meta-server-stop.sh脚本即可关闭
./metaServer.sh stop
Metaq 页面访问：http://192.168.68.84:8120/
7.安装 storm
下载地址：http://storm.apache.org/downloads.html  apache-storm-0.9.4.tar.gz
解压：tar –zxvf apache-storm-0.9.4.tar.gz
进入：cd apache-storm-0.9.4
设置环境变量：
vim /etc/profile
· export STORM_HOME=/路径 / apache-storm-0.9.4
· export PATH=$PATH:$STORM_HOME/bin
source /etc/profile
mkdir /usr/dpap/storm
修改storm/conf/storm.yaml文件
· storm.zookeeper.servers:
· - “zk1 server IP"
· - “zk2 server IP "
· - “zk3 server IP "
如果Zookeeper集群使用的不是默认端口，那么还需要storm.zookeeper.port选项。
· nimbus.host: “zk1"  
说明： Storm集群Nimbus机器地址，各个Supervisor工作节点需要知道哪个机器是Nimbus，以便下载Topologies的jars、confs等文件
· storm.local.dir: "/usr/tmp/storm"
说明: Nimbus和Supervisor进程用于存储少量状态，如jars、confs等的本地磁盘目录，需要提前创建该目录并给以足够的访问权限。然后在storm.yaml中配置该目录
· supervisor.slots.ports:
· - 6700
· - 6701
· - 6702
· - 6703
说明：对于每个Supervisor工作节点，需要配置该工作节点可以运行的worker数量。每个worker占用一个单独的端口用于接收消息，该配置选项即用于定义哪些端口是可被worker使用的。默认情况下，每个节点上可运行4个workers，分别在6700、6701、6702和6703端口
java.library.path: ”/usr/local/lib:/opt/local/lib:/usr/lib”
说明：Storm使用的本地库（ZMQ和JZMQ）加载路径，默认为”/usr/local/lib:/opt/local/lib:/usr/lib”，一般来说ZMQ和JZMQ默认安装在/usr/local/lib 下，因此不需要配置即可。
(注意：先搭建zookeeper集群)
storm集群截图

 
Nimbus: 在Storm主控节点上运行”bin/storm  nimbus >/dev/null 2>&1 &”启动Nimbus后台程序，并放到后台执行；
Supervisor: 在Storm各个工作节点上运行”bin/storm supervisor >/dev/null 2>&1 &”启动Supervisor后台程序，并放到后台执行；
UI: 在Storm主控节点上运行”bin/storm ui >/dev/null 2>&1 &”启动UI后台程序，并放到后台执行，启动后可以通过http://{nimbus host}:8080观察集群的worker资源使用情况、Topologies的运行状态等信息。
默认是启在8080端口上，如果你想改成其他的，如8089，直接修改nimbus的storm.yaml文件，添加
ui.port=8089
启动Storm后台进程时，需要对conf/storm.yaml配置文件中设置的storm.local.dir目录具有写权限。
Storm后台进程被启动后，将在Storm安装部署目录下的logs/子目录下生成各个进程的日志文件。
经测试，Storm UI必须和Storm Nimbus部署在同一台机器上，否则UI无法正常工作，因为UI进程会检查本机是否存在Nimbus链接。
 
　　Storm 程序部署运行：将 编译好的jar 放入到 storm 安装路径/project(文件夹) 
　　Storm jar  project/xxx.jar（执行包路径） xx.xxx.Class（类路径） 参数（topology名称）