hadoop经典系列(一)1.2.1真集群安装

ykwll

实验环境
192.168.56.2    Master.Hadoop
192.168.56.3    Slave1.Hadoop
192.168.56.4    Slave2.Hadoop


一 安装JDK
#  /etc/profile
export JAVA_HOME=/usr/local/java/default
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

# source /etc/profile

二 无密码ssh登录（建议本机也弄）
# 本地执行：生成密钥对
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
# 远程服务器执行：用公钥给远程机器授权
# 注意：在namenode上，为Secondarynamenode也需要操作一次本机的无密钥登陆
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
# 远程机器授权全后，可以删除公钥
rm -rf ~/.ssh/id_dsa.pub

三 配置hadoop
1)配置conf/hadoop-env.sh
export JAVA_HOME=/usr/local/java/default

2)配置conf/core-site.xml
如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉，必须重新执行format才行，否则会出错

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/tmp</value>
        <!--备注：请先在 /usr/hadoop 目录下建立 tmp 文件夹-->
        <description>A base for other temporary directories.</description>
    </property>
    <!-- file system properties -->
    <property>
        <name>fs.default.name</name>
        <value>hdfs://192.168.56.2:9000</value>
    </property>
</configuration>

3)配置hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
        <!--备注：replication 是数据副本数量，例如：设置为3的话，salve少于3台就会报错，副本数量没必要设置太多-->
    </property>
<configuration>

4)配置mapred-site.xml
<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>192.168.56.2:9001</value>
    </property>
</configuration>

5)配置masters(secondaryNamenode)，使用hosts
Master.Hadoop

6)配置slaves  ，namenode特有datanode可以不配置，使用hosts
Slave1.Hadoop
Slave2.Hadoop

7）其他datanode复制namenode的hadoop即可


四 启动
bin/hadoop namenode -format
sh bin/start-all.sh
验证端口，在namenode上
http://192.168.56.2:50030/
http://192.168.56.2:50070/

五 扩展性
直接拷贝datanode到其他机器，同时增加配置namenode的masters即可
注意新扩展机器的hosts配置，如果用IP配置则可以不关心这个
注意：
namenode必须要配置masters和slaves
datanode只需要配置masters即可，不需要slaves的配置
其他配置完全相同
切记要配置无密码SSH登录，否则无法启动
切记启动之前，先要执行格式化命令bin/hadoop namenode -format，否则无法启动
切记启动之前，要配置conf/hadoop-env.sh的JAVA_HOME，否则无法启动