CentOS6.7 安装hadoop2.7.5

cyc1111

　　一、下载hadoop二进制包
　　下载地址：http://mirrors.hust.edu.cn/apache/hadoop/common/
　　二、环境准备
　　1、安装JDK(1.8.0_151)
　　2、安装openssh-clients
　　注意： CentOS6.7 默认没有安装openssh-clients，导致系统没有ssh命令，而hadoop脚本中会使用ssh命令，如果不装openssh-clients，启动服务器时会报错
　　三、安装hadoop
tar zxf hadoop-2.7.5.tar.gz -C /usr/local/
mv /usr/local/hadoop-2.7.5  /usr/local/hadoop
cd /usr/local/hadoop/etc/hadoop　　1、修改hadoop-env.sh，配置JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_151　　2、修改core-site.xml文件，在configuration标签中加入以下配置
<configuration>
<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>
<property>
    <name>hadoo.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
</property>
</configuration>　　3、修改hdfs-site.xml文件，加入以下配置
<configuration>
<property>
     <name>dfs.http.address</name>
     <value>192.168.115.237:50070</value>
   </property>
   <property>
     <name>dfs.replication</name>
     <value>1</value>
   </property>
   <property>
     <name>dfs.namenode.name.dir</name>
     <value>file:/usr/local/hadoop/tmp/dfs/name</value>
   </property>
   <property>
     <name>dfs.datanode.data.dir</name>
     <value>file:/usr/local/hadoop/tmp/dfs/data</value>
   </property>
</configuration>　　4、修改marped-site.xml文件
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml<configuration>
<property>  
    <name>marped.job.tracker</name>  
    <value>localhost:9001</value>  
</property>
</configuration>　　5、格式化hadoop的HDFS文件系统，在hadoop文件中输入
./bin/hadoop namenode -format　　6、如果第5步没有报错，则执行下面的命令，启动hadoop服务
sbin/start-all.sh　　启动时，会多次登录本机，要求输入root账户的密码，可以使用公钥认证的方式，进行免密码登录。这里不介绍任何设置
　　如果服务正常启动，输入jps能看到以下进程

　　访问http://ip:50070 可以查看hadoop集群状态

　　参考：http://blog.csdn.net/qq_32554863/article/details/79409433