CentOS系统下Hadoop 2.4.1集群安装配置（简易版）

seemebaby

安装配置
1、软件下载
　　JDK下载:jdk-7u65-linux-i586.tar.gz
　　http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
　　Hadoop下载：hadoop-2.4.1.tar.gz
　　http://www.apache.org/dyn/closer.cgi/hadoop/common/
　　
2、/etc/hosts配置
　　



[html] view plaincopyprint?

• 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
  
• ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
  
• 
  
• 192.168.1.2 Master.Hadoop  
  
• 192.168.1.3 Slave1.Hadoop  
  

　　
3、/etc/profile配置
　　
　　



[html] view plaincopyprint?

• export JAVA_HOME=/usr/java/jrockit-jdk1.6.0_45-R28.2.7-4.1.0  
  
• export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib  
  
• export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin  
  
• 
  
• export HADOOP_HOME=/usr/hadoop  
  
• export HADOOP_HOME_WARN_SUPPRESS=1  
  
• export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin  
  

　　
　　
4、~/etc/hadoop/core-site.xml配置
　　
　　



[html] view plaincopyprint?

•   
  
• 
  
•            
  
•            fs.defaultFS   
  
•            hdfs://Master.Hadoop:9000   
  
•               
  
•               Where to find the Hadoop Filesystem through the network.
  
•               Note 9000 is not the default port.
  
•               (This is slightly changed from previous versions which didnt have "hdfs")
  
•               
  
•       
  
• 
  
•      
  
•             hadoop.tmp.dir  
  
•             /usr/hadoop/tmp  
  
•       
  
• 
  
•   
  

　　
　　
5、~/etc/hadoop/mapred-site.xml配置
　　
　　



[html] view plaincopyprint?

•       
  
•       
  
•         mapreduce.framework.name   
  
•     yarn   
  
•       
  
•   
  

　　
　　
6、etc/hadoop/yarn-site.xml配置
　　
　　



[html] view plaincopyprint?

•   
  
• 
  
•          
  
•     yarn.resourcemanager.scheduler.address   
  
•     Master.Hadoop:8030   
  
•       
  
• 
  
•          
  
•         yarn.resourcemanager.resource-tracker.address     
  
•     Master.Hadoop:8031   
  
•       
  
• 
  
•         
  
•     yarn.resourcemanager.address      
  
•     Master.Hadoop:8032   
  
•       
  
• 
  
•         
  
•     yarn.resourcemanager.admin.address   
  
•     Master.Hadoop:8033     
  
•       
  
• 
  
•          
  
•     yarn.resourcemanager.webapp.address      
  
•     Master.Hadoop:8088   
  
•       
  
• 
  
•          
  
•     yarn.resourcemanager.webapp.https.address      
  
•     Master.Hadoop:8090   
  
•       
  
• 
  
•         
  
•     yarn.nodemanager.local-dirs   
  
•     ${hadoop.tmp.dir}/nodemanager/local   
  
•     the local directories used by the nodemanager   
  
•    
  
• 
  
•       
  
•     yarn.nodemanager.remote-app-log-dir   
  
•     ${hadoop.tmp.dir}/nodemanager/remote   
  
•     directory on hdfs where the application logs are moved to     
  
•    
  
• 
  
•       
  
•     yarn.nodemanager.log-dirs   
  
•     ${hadoop.tmp.dir}/nodemanager/logs   
  
•     the directories used by Nodemanagers as log directories   
  
•    
  
• 
  
•       
  
•     yarn.nodemanager.aux-services   
  
•     mapreduce_shuffle   
  
•     shuffle service that needs to be set for Map Reduce to run     
  
•    
  
• 
  
•         
  
•     mapreduce.jobhistory.address     
  
•     Master.Hadoop:10020   
  
•       
  
• 
  
•          
  
•     mapreduce.jobhistory.webapp.address     
  
•     Master.Hadoop:19888   
  
•       
  
• 
  
•   
  

　　
　　
7、~/etc/hadoop/hdfs-site.xml配置
　　
　　



[html] view plaincopyprint?

•   
  
• 
  
•         
  
•    dfs.permissions.superusergroup   
  
•    root   
  
•       
  
• 
  
•       
  
•     dfs.replication   
  
•     1   
  
•      
  
• 
  
•   
  

　　
　　
启动与验证
　　
1、格式化HDFS文件系统
　　hadoop namenode -format
2、启动Hadoop
　　启动前关闭集群中所有机器的防火墙
　　service iptables stop
　　启动命令
　　start-all.sh
3、验证Hadoop
　　方式一：jps
　　方式二：hadoop dfsadmin -report