hadoop2.5.0 centOS系列 分布式的安装 部署

1xg93976uq

　　hadoop以及elasticsearch 还有 memcache 以及rabbitMQ ，N久前自己就已经部署好了hadoop，一直忙于界面制作。网上有好多hadoop2 版本的安装可是自己安装却出现各种问题，不能继续下去，多次尝试后 终于成功了
　　首先第一步.设置免密码SSH登陆，这是为了以后使用scp 传输文件方便，直接同步文件与文件夹，而且ssh 随时切换到相应的服务器上  
　　先安装好ssh 如果没有安装 那么 按照下面操作 ，这是网上复制的
　　1.安装启动 ssh
　　1、检查linux是否已经按openssh
　　命令：# rpm -qa |grep openssh如果安装了，就可以看到安装的版本号，否则就没有安装。
　　2、安装# rpm －ivh openssh-3.5p1-6    

# rpm －ivh openssh-server-3.5p1-6   

 # rpm －ivh openssh-askpass-gnome-3.5p1-6  

 # rpm －ivh openssh-clients-3.5p1-6  

 # rpm －ivh openssh-askpass-3.5p1-6 

3、启动方法方法1：# service sshd start   

 方法2：使用绝对路径执行以下命令：

 # /etc/rc.d/init.d/sshd start  

 或者# /etc/rc.d/sshd start

4、自动启动方法另外，如果想在系统启动时就自动运行该服务，那么需要使用setup命令，

在system service的选项中，选中sshd守护进程即可。 

 chkconfig sshd on

 通过ntsysv 选中sshd服务

也可以通过chkconfig也设置chkconfig -- level 3 sshd on

5、配置ssh配置文件目录：/etc/ssh/sshd_config

  port 22

　　安装好了 后，我们开始生成ssh的的公钥 与 私钥
　　我有四台机器 192.168.1.6  192.168.1.7  192.168.1.8  192.168.1.9  最后6作为主master
　　所以先ssh登陆到6机器 然后执行下面命令
　　ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
　　 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
　　 scp ~/.ssh/authorized_keys root@192.168.250.195 ~/.ssh/authorized_keys 

　　下面是以前尝试 时候的截图，参考，可以直接脚本scp 加上管道直接一步完成
　　

　　 
　　然后 配置 然后 以后从master 机器使用scp ssh  都不需要输入密码
　　然后我们修改并同步hosts属性文件
　　 vi  /etc/sysconfig/network 分别修改HOSTNAME=master  HOSTNAME=slave1 ....slave2  slave3
　　下面 修改vi /etc/hosts 文件
　　192.168.250.196   master
192.168.250.195   slave1
192.168.250.197   slave2
192.168.250.200   slave3
　　下面 scp同步
　　
　　 下面我们 下载hadoop然后  在master上 修改好配置文件 然后scp同步到其他slave上即可
　　  tar -zxf hadoop-2.5.0.tar.gz -C /usr/local/
　　  cd /usr/local
　　   ln -s hadoop-2.5.0 hadoop
　　  配置好环境变量
　　 vi /etc/profile 
　　  

export HADOOP_PREFIX="/usr/local/hadoop"
export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
export HADOOP_COMMON_HOME=${HADOOP_PREFIX}
export HADOOP_HDFS_HOME=${HADOOP_PREFIX}
export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}
export HADOOP_YARN_HOME=${HADOOP_PREFIX}
　　 当然需要前提安装好java环境
　　然后进入hadoop目录 cd /usr/local/hadoop 修改
　　vi /etc/hadoop/yarn-env.sh 还有hadoop-env.sh 导入java环境
　　export JAVA_HOME=/usr/local/jdk8 如果默认使用 yum 安装的则不需要
　　然后
　　修改目录文件夹的core-site.xml

 
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
<description>The name of the default file system.</description>
</property>
　　修改hdfs-site.xml  记住是///

　　
　　然后下面修改yarn-site.xml
　　配置yarn 的resourceManger为master

　　然后修改mapred-site.xml
　　默认没有mapred-site.xml文件，copy  mapred-site.xml.template 一份为 mapred-site.xml即可
　　
　　然后配置 告诉hadoop 其他从节点，这样，只要主节点启动，他会自动启动其他机器上的nameNode dataNode 等等
　　vi  /usr/local/hadoop/etc/hadoop/slaves
　　添加以下内容
　　
　　  OK 基本的全部配置已经完成
　　下面就是同步该文件夹 到其他各个从主机上即可 因为我们使用ssh免登陆 不需要使用密码
　　scp -r /usr/local/hadoop root@192.168.250.195:/usr/local/hadoop
　　scp -r /usr/local/hadoop root@192.168.250.197:/usr/local/hadoop
　　scp -r /usr/local/hadoop root@192.168.250.200:/usr/local/hadoop
　　ok
　　同步好了 后，然后我们开始在主节点 也就是当前的master 的usr/local/hadoop/sbin执行format
　　hdfs namenode -format
　　然后依次执行start-dfs.sh 
　　在执行start-yarn.sh
　　也可以简单粗暴的直接start-all.sh
　　然后jps命令就可以查看到hadoop的运行状态了

　　在从节点上 

　　也许一些用户发现ResourceManager没有启动 
　　不过不要担心
　　只需要在master 下执行
　　yarn-daemon.sh start nodemanager 即可
　　ok 我们可以
　　使用
　　hadoop dfsadmin -report 查看状态
　　web界面 master:50070/50030
　　Ok到此 就完成了

　　可以使用测试案例 测试一下试试