hadoop集群构建

生活如麻

　　1.      卸载CentOS自带的JDK和多余的软件
　　yum remove java* libreoffice* -y
2.      关闭防火墙,SELINUX
　　systemctl stop firewalld.service
　　systemctl disable firewalld.service
　　编辑文件/etc/selinux/config
　　SELINUX=enforcing 改为 SELINUX= disabled
3.      设置SSH免密码登陆
　　输入命令，ssh-keygen -t rsa ，生成key，一直回车，/root就会生成.ssh文件夹
　　接下来执行以下命令
　　cd ~/.ssh/

　　cat>　　chmod 644 ~/.ssh/authorized_keys
　　chmod 744 ~/.ssh/
　　systemctl enable sshd.service
　　scp -rp authorized_keys 客户端IP:/root/.ssh/
　　（scp没有.ssh目录，使用客户端ssh连接一下服务端即生成该文件夹）
　　三台hadoop集群:
　　192.168.159.151  master
　　192.168.159.152  slave1
　　192.168.159.153  slave2
　　修改主机名hostname（客户端服务端均修改）
　　[root@master ~]# cat /etc/sysconfig/network（永久修改）
　　# Created by anaconda
　　NETWORKING=yes
　　HOSTNAME=master
　　hostnamectl set-hostname [主机名]
　　例 ：hostnamectl set-hostname master
　　修改/etc/hosts
　　格式为:
　　[root@slave1 /]# cat /etc/hosts
　　127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
　　::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
　　192.168.159.151  master
　　192.168.159.152  slave1
　　192.168.159.153  slave2
　　解压包:
　　cd /usr/local/src/;rz -yb 上传hadoop-1.2.1-bin.tar.gz和jdk-6u45-linux-x64.bin
　　tar zxvf  hadoop-1.2.1-bin.tar.gz;./jdk-6u45-linux-x64.bin
　　拷贝到各节点:
　　scp -rp jdk1.6.0_45  slave1:/usr/local/src/
　　cd  /usr/local/src/jdk1.6.0_45/bin;./java
　　vi ~/.bashrc
　　加入JAVA的环境变量:
　　export JAVA_HOME=/usr/local/src/jdk1.6.0_45

　　export>　　export PATH=$PATH:$JAVA_HOME/bin
　　source ~/.bashrc
　　hadoop安装:
　　cd /usr/local/src/hadoop-1.2.1
　　mkdir tmp(存放临时文件，core-site.xml 配置文件指定其pwd路径)
　　cd /usr/local/src/hadoop-1.2.1/conf
　　修改masters,slaves文件:
　　[root@master conf]# cat masters
　　master
　　[root@master conf]# cat slaves
　　slave1
　　slave2
　　[root@master conf]# cat hdfs-site.xml
　　
　　
　　
　　
　　
　　dfs.replication
　　3
　　
　　
　　[root@master conf]# cat core-site.xml
　　
　　
　　
　　
　　
　　hadoop.tmp.dir
　　/usr/local/src/hadoop-1.2.1/tmp
　　
　　
　　fs.default.name
　　hdfs://192.168.159.151:9000
　　
　　
　　[root@master conf]# cat hdfs-site.xml
　　
　　
　　
　　
　　
　　dfs.replication
　　3
　　
　　
　　[root@master conf]# cat mapred-site.xml
　　
　　
　　
　　
　　
　　mapred.job.tracker
　　http://192.168.159.151:9001
　　
　　
　　在hadoop-env.sh加入一行JAVA_HOME的环境变量:
　　export JAVA_HOME=/usr/local/src/jdk1.6.0_45
　　master执行:
　　然后将服务端的hadoop-1.2.1目录scp到各客户端:
　　scp -rp /usr/local/src/hadoop-1.2.1 slave1:/usr/local/src/
　　cd /usr/local/src/hadoop-1.2.1/bin
　　格式化namenode:
　　./hadoop namenode -format
　　启动各节点:
　　./start-all.sh
　　设置开机自动启动hadoop各节点，和生成hadoop启动命令的环境变量:
　　cat /root/.bashrc
　　export JAVA_HOME=/usr/local/src/jdk1.6.0_45
　　export HADOOP_HOME=/usr/local/src/hadoop-1.2.1
　　#export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
　　$PATH换成现在定义的环境变量即可， :  用来分隔环境变量
　　export PATH=$PATH:$JAVA_HOME/bin:/usr/local/src/hadoop-1.2.1/bin
　　cat .bash_profile
　　在.bash_profile里面追加一行:
　　export HADOOP_HOME_WARN_SUPPRESS=1
　　启动Hadoop时报了一个警告信息，我的系统是CentOS，安装的Hadoop版本是hadoop1.2.1，具体警告信息如下：
bin/start-all.sh Warning: $HADOOP_HOME is deprecated.　　网上的说法是因为Hadoop本身对HADOOP_HOME做了判断，具体在bin/hadoop和bin/hadoop-config.sh里。在hadoop-config.sh里有如下的配置：
if [ "$HADOOP_HOME_WARN_SUPPRESS" = "" ] && [ "$HADOOP_HOME" != "" ]; then　　
  echo "Warning: \$HADOOP_HOME is deprecated." 1>&2
　　
  echo 1>&2fi
　　2. 在当前用户目录下的 .bash_profile 里增加一个环境变量：
　　export HADOOP_HOME_WARN_SUPPRESS=1 注：修改完 .bash_profile 后需要执行 source 操作使其生效
　　master查看启动的节点
　　[root@master hadoop-1.2.1]# jps
　　5676 Jps
　　3237 JobTracker
　　3158 SecondaryNameNode
　　2994 NameNode
　　slave查看启动的节点:
　　[root@slave1 ~]# jps
　　2673 DataNode
　　3346 Jps
　　2757 TaskTracker
　　查看hdfs
　　./hadoop fs -ls /
　　上传文件
　　./hadoop fs -put  /etc/passwd  /
　　查看上传的文件
　　./hadoop fs -cat  /passwd