hadoop经典系列(三)2.x真集群安装

sher

一 安装JDK
#  /etc/profile
export JAVA_HOME=/application/search/java/default
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

# source /etc/profile

二 无密码ssh登录（建议本机也弄）
# 本地执行：生成密钥对
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
# 远程服务器执行：用公钥给远程机器授权
# 注意：在namenode上，为Secondarynamenode也需要操作一次本机的无密钥登陆
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
# 远程机器授权全后，可以删除公钥
rm -rf ~/.ssh/id_dsa.pub

三 配置hadoop

1)配置hadoop-env.sh
export JAVA_HOME=/application/search/java/default
可以不配，默认地址为/log，但是为了防止其他地方修改
export HADOOP_LOG_DIR=/application/search/hadoop/hadoop-2.1.0-beta/logs

2)配置conf/core-site.xml
如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉，必须重新执行format才行，否则会出错
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data0/search/hadoop/tmp</value>
            <!--备注：请先在 /data0/search/hadoop 目录下建立 tmp 文件夹-->
        <description>A base for other temporary directories.</description>
    </property>

    <!-- file system properties -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://QT-H-0117:9000</value>
    </property>
</configuration>

3)配置hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
        <!--备注：replication 是数据副本数量，例如：设置为3的话，salve少于3台就会报错，副本数量没必要设置太多-->
    </property>
<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>QT-H-0118:50090</value>
        <description>The secondary namenode http server address and port.</description>
    </property>
4)配置yarn-site.xml
<property>
    <description>The hostname of the RM.</description>
    <name>yarn.resourcemanager.hostname</name>
  <!--其他端口和地址都引用此host，所以必须配置，resource manager可以与namenode分离-->
    <value>QT-H-0117</value>
</property>  
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce.shuffle</value>
<description>此项目不配置，报错java.lang.IllegalStateException: Invalid shuffle port number -1 returned</description>
  </property>
  
5)配置mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <description>classic,yarn,local</description>
    </property>
</configuration>


6)配置slaves: namenode和resourceManager特有datanode可以不配置
QT-H-0118
QT-H-0119


四 格式化
/bin/hdfs namenode -format

五 启动
/sbin/start-hfs.sh
/sbin/start-yarn.sh


六 验证，在namenode上
http://10.10.160.150:8088/resourcemanager管理页面
http://10.10.160.150:50070/

七 本地库安装
操作系统：CentOS-6.2-x86_64-minimal.iso

yum install lrzsz vim
yum install make cmake zlib-devel openssl-devel gcc gcc+ gcc-c++
protobuf自定义安装（hadoop2.1的版本必须使用2.5），protobuf-2.5.0.tar.gz

编译
在目标64位操作系统上重新编译源码
mvn package -Pdist,native -DskipTests -Dtar

替换文件
${hadoop_home}/lib/native
下面的4个文件，软连接不用动
libhadoop.a
libhadoop.so.1.0.0
libhdfs.a
libhdfs.so.0.0.0
libhadoop.so -> libhadoop.so.1.0.0
libhdfs.so -> libhdfs.so.0.0.0
libhadoop在源码编译的目录￥${hadoop_home_src}/hadoop-common-project/hadoop-common/target/native/target/usr/local/lib
libhdfs在源码编译的目录￥${hadoop_home_src}/hadoop-hdfs-project/hadoop-hdfs/target/native/target/usr/local/lib


tips:
本地库安装方法
glibc版本不一致
http://blog.csdn.net/jiedushi/article/details/7496327
重新编译
http://www.jm47.com/g/60913.htm

Hadoop 新 MapReduce 框架 Yarn 详解
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/#_3.1_hadoop_0.23.0

【附加阅读】
http://blog.csdn.net/bxyz1203/article/details/8087233


【失败案例，可以继续研究】
其他 ubuntu安装资料
1)安装protobuf2.5
默认hadoop-2.1-beta版本里默认不带64位的本地库，只有32位的，所以需要自行编译
首先安装protobuf-2.5，否则报错[ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.1.0-beta:protoc (compile-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecutionException: 'protoc --version' did not return a version -> [Help 1]
ubuntu目前默认自带2.4.1，无法安装
apt-get install protobuf-compiler

或者自行编译安装
http://blog.csdn.net/xocoder/article/details/9155901
下载protobuf
下载地址：http://code.google.com/p/protobuf/downloads/list
2)安装zlib
apt-get install zlib1g-dev