hadoop的安装与配置

51qsx

　　Hadoop版本
　　Hadoop 有两个主要版本，Hadoop 1.x.y 和 Hadoop 2.x.y 系列.1.x.y大数公司已经更新Hadoop 2.x 版本，本教程均可适用.
　　基本环境:Centos 6.5   jdk1.7.0_67   hadoop2.5.1
　　一、配置jdk
　　1)下载jdk 版本
　　本教程试用jdk-7u67-linux-x64.war.gz
　　2)创建解压目录
　　mkdir /usr/local/java
　　3)移动jdk到/usr/local/java
　　mv jdk-7u67-linux-x64.war.gz  /usr/local/java
　　4)解压jdk
　　tar -xvf jdk-7u67-letcinux-x64.war.gz
　　5)配置环境
　　5.1)编辑 ~/.bash_profile文件 (可以在/etc/profile配置,但是不建议)
　　1.vi   ~/.bash_profile
　　2.JAVA_HOME =/usr/local/java/jdk1.7.0_67
　　3.CLASSPATH=. :$JAVA_HOME/lib/*.jar
　　4.PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
　　5.退出编辑,并 source ~/.bash_profile
　　6.验证  java -version
　　二、安装配置hadoop
　　1)下载hadoop 版本
　　本教程使用hadoop2.5.1.war.gz
　　2)创建解压目录
　　mkdir /usr/local/hadoop
　　3)移动hadoop到/usr/local/hadoop
　　mv hadoop2.5.1.war.gz  /usr/local/hadoop
　　4)解压hadoop
　　tar -xvf hadoop2.5.1.war.gz
　　5)配置环境
　　5.1)编辑~/.bash_profile文件
　　1.vi   ~/.bash_profile
　　2.HADOOP_HOME=/usr/local/hadoop2.6.4
　　4.PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/jre/bin
　　5.退出编辑,并 source ~/.bash_profile
　　5.2)配置etc/hadoop/hadoop-env.sh,etc/hadoop/core-site.xml,hdfs-site.xml ,etc/hadoop/salves
　　http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html
　　1.配置hadoop-env.sh
　　export JAVA_HOME=/*your jdk的目录*/
　　2.配置core-site.xml  (可以参考官方文档)
   　　
　　fs.defaultFS
　　hdfs://localhost:9000  /** your的主机名**/
　　
　　
　　3.配置hdfs-site.xml
　　
　　
　　dfs.replication
　　1
　　
　　
　　
　　4.配置salves
  your的机主名　　6)关闭临时防火墙
　　1)service iptables stop
　　2)chkconfig iptables off
　　7)格式化
　　hadoop namenode -format
　　8)验证
　　start-hdfs.sh
8)jps产看状态　　2135 NodeManager
　　5087 SecondaryNameNode
　　2054 ResourceManager
　　9053 Jps
　　4891 DataNode
　　7489 NameNode
　　9) 网页查看
　　yourip:50070  (windows 没有添加host ,就用IP地址)