hadoop+zookepper实现namenode的高可用

leonheart

　　Hadoop+zookeepker安装与配置:
　　在hadoop-env.sh中添加export JAVA的环境变量
　　修改hostname文件的名称，/etc/hosts文件配置主机名和ip的映射关系，将mstaer，slave的主机名和ip地址都添加进来
　　配置ssh免密钥配置
　　Ssh-keygen –t rsa
　　在./.ssh文件中生成两个文件id_rsa（私钥），id_rsa.pub(公钥)
　　cat id_rsa.pub > .ssh/authorized_keys
　　scp authorized_keys user@ipaddress:/home/user/id_rsa.pub
　　修改authorzed文件的权限为600
　　//Namenode之间的高可用其实是通过journalNode集群或者nfs来实现的，两台主从的namenode节点通过共享一个共享目录来实现高可用，standy的机器时刻同步active的namenode的机器，namenode的自动切换一般使用zookeeper集群中来实现
　　Namenode高可用的配置：
　　Core-site.Xml添加fs.defaultFS的属性为hdfs：//mycluster
　　hdfs-site中添加dfs.federation.nameservers为mycluster
　　添加dfs.namenodes.mycluster的值为nn1和nn2
　　添加dfs.namenode.rpc-address.mycluster.nn1的值为hostname1:8020
　　添加dfs.namenode.rpc-address.mysqlcluster.nn2的值为hostname2：8020
　　添加dfs.namenode.http-address.mycluster.nn1的值为hostname1:50070//配置namenode节点的web查看
　　添加dfs.namenode.http-address.mycluster.nn1的值为hostname1:50070
　　添加dfs.namenode.shared.edits.dir共享的存储的目录位置，所有的slave端口的8485
　　添加dfs.client.failover.proxy.provider.mycluster的值为org.apache.hadoop.hdfs. server.namenode.ha.ConfigureFailoverProxyProvider  //确认hadoop客户端与active节点通信的java类，使用其来确认active是否活跃
　　添加dfs.ha.fencing.methods的值为sshfence使用ssh来进行切换
　　//任何一个期间都必须只有一个namenode节点，这个配置使用ssh的连接到namenode节点杀死namenode的active状态
　　下面是hadoop+zookepper的所有配置：
　　配置hdfs-site.Xml
　　
　　
　　dfs.replication
　　3                      //将文本复制的份数为3
　　
　　
　　heartbeat.recheckinterval    //datanode的心跳时间为10s
　　10
　　
　　
　　dfs.name.dir
　　file:/mnt/vdc/hadoopstore/hdfs/name   //确定hdfs文件系统的元信息保存的目录，设置为多目录的时候，就可以保存元信息数据的多个备份
　　
　　
　　dfs.data.dir
　　file:/mnt/vdc/hadoopstore/hdfs/data  //确定hdfs的文件系统的数据保存的目录，就可以将hdfs建立在不同的分区上
　　
　　
　　dfs.webhdfs.enabled    //在web中访问hdfs的能力
　　true
　　
　　
　　dfs.nameservices     //定义一个mycluster的nameserver族
　　mycluster
　　
　　
　　dfs.ha.namenodes.mycluster     //支持两个那么namenode节点，两个namenode节点是nn1，nn2。
　　nn1,nn2
　　
　　
　　dfs.namenode.rpc-address.mycluster.nn1//第一个rpc的通信地址，端口为8020
　　master1:8020
　　
　　
　　dfs.namenode.rpc-address.mycluster.nn2//第二个rpc的通信地址，端口为8020
　　master2:8020
　　
　　
　　dfs.namenode.http-address.mycluster.nn1
　　master1:50070   //定义第二个namenode的http端口
　　
　　
　　dfs.namenode.http-address.mycluster.nn2
　　master2:50070   //定义第二个namenode的httpd端口
　　
　　
　　dfs.namenode.shared.edits.dir   qjournal://master1:8485;master2:8485;slave1:8485;slave2:8485;slave3:8485;slave4:8485;slave5:8485;slave6:8485;slave7:8485;slave8:8485;slave9:8485;slave10:8485/mycluster
　　   //共享的datanode信息
　　//客户端故障转移配置
　　
　　dfs.client.failover.proxy.provider.mycluster
　　org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
　　  //自动切换的时候由哪一个类来自动实现
　　
　　dfs.ha.fencing.methods
　　sshfence//namenode//切换时候使用ssh等方式来操作
　　
　　
　　dfs.ha.fencing.ssh.private-key-files
　　/home/kduser/.ssh/id_rsa//存储的秘钥的位置
　　
　　
　　dfs.ha.automatic-failover.enabled  //???是否需要加上mycluster，故障发生的时候是否自动切换
　　true
　　
　　//将这个namenode节点id配置为nn1
　　
　　dfs.ha.namenode.id
　　nn1
　　
　　
　　配置mapred-site.xml文件
　　
　　
　　mapreduce.framework.name
　　yarn //hadoop2.x以后的版本的框架为yarn
　　
　　
　　mapreduce.reduce.shuffle.input.buffer.percent//默认为0.7，提高系统系统配置
　　0.1
　　
　　
　　配置yarn-site.xml
　　
　　yarn.nodemanager.resource.memory-mb//nodemanager总的可用的物理内存
　　10240
　　
　　
　　yarn.resourcemanager.address
　　//ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等
　　master1:8032
　　
　　
　　yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage
　　95.0
　　
　　
　　yarn.resourcemanager.scheduler.address
　　master1:8030
　　
　　
　　yarn.resourcemanager.resource-tracker.address
　　master1:8031
　　
　　
　　yarn.nodemanager.aux-services
　　mapreduce_shuffle
　　
　　
　　yarn.resourcemanager.admin.address
　　master1:8033
　　
　　
　　yarn.nodemanager.aux-services.mapreduce.shuffle.class
　　org.apache.hadoop.mapred.ShuffleHandler
　　
　　
　　yarn.resourcemanager.webapp.address
　　master1:8088
　　
　　配置core-site.xml的配置
　　
　　
　　hadoop.native.lib
　　true
　　Shouldnative hadoop libraries, if present, be used.
　　//设置启动本地库，默认使用本地库
　　
　　
　　
　　hadoop.tmp.dir
　　/mnt/vdc/hadoopstore/tmp     //hdfs的临时文件目录
　　
　　
　　fs.defaultFS
　　hdfs://mycluster //指定hdfs的nameservice为mycluster（两个），为hadoop的namenode节点高可用的配置
　　
　　
　　dfs.journalnode.edits.dir
　　/mnt/vdc/hadoopstore/journal/data
　　
　　
　　ha.zookeeper.quorum.mycluster
　　master1:2181,master2:2181,slave1:2181
　　
　　
　　hadoop.proxyuser.oozie.hosts
　　*
　　
　　
　　hadoop.proxyuser.oozie.groups
　　*
　　
　　
　　hadoop.proxyuser.hue.hosts
　　*
　　
　　
　　hadoop.proxyuser.hue.groups
　　*
　　
　　
　　第一次启动的时候需要格式化 hadoop  namenode  –format
　　查看集群状态的时候使用jps来进行查看
　　Hadoop dfsadmin -report
　　Zookeeper命令详解：
　　配置基本的环境变量：
　　export ZOOKEEPER_HOME=/home/zookeeper-3.3.3
　　export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf
　　zookeeper配置文件zoo.cfg
　　tickTime=2000  //默认每两秒就会发送一个心跳
　　dataDir=/diskl/zookeeper  //存储内存中数据库快照的位置
　　dataLogDir=/disk2/zookeeper  //日记存放的目录
　　clientPort=2181
　　initlimit=5        //连接超时的心跳次数，这里5次就是说10s的时候就会退出
　　syncLimit=2
　　server.l=zookeeperl:2888:3888
　　server.2=zookeeper2:2888:3888
　　server.3=zookeeper3:2888:3888
　　zookeeper的2181端口用于与客户端连接，2888端口用于与跟随者连接，3888端口用于选举
　　修改myid文件，这个文件在dataDir文件中配置为1，2，3
　　ZkServer.sh start/stop/status  启动/关闭/状态
　　zkCLi.sh –serveripaddress:2181   //连接某台的zookeeper服务器
　　使用ls  /查看节点中的内容
　　get  /xxxx查看字符串里面的内容
　　set/create/deletexxx 设置/创建/删除节点的内容
　　但是zookeeper主要是使用api的形式来进行访问的