如何部署hadoop集群

shaoqin

　　假设我们有三台服务器，他们的角色我们做如下划分：
　　10.96.21.120 master
　　10.96.21.119 slave1
　　10.96.21.121 slave2
　　接下来我们按照这个配置来部署hadoop集群。
　　1：安装jdk
　　下载解压。



vi /etc/profile
JAVA_HOME=/usr/java/jdk1.6.0_29
CLASS_PATH=$JAVA_HOME/lib:JAVA_HOME/jre/lib:JAVA_HOME/lib/tools.jar:$CLASS_PATH
PATH=$JAVA_HOME/bin:$PATH
if [ -z "$INPUTRC" -a ! -f "$HOME/.inputrc" ]; then
INPUTRC=/etc/inputrc
fi
export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE INPUTRC
export CLASS_PATH JAVA_HOME

　　判断是否安装成功。



java -version
javac

　　2：安装ssh
　　命令



yum -y install openssh-server openssh-clients
　　开启sshd服务



chkconfig sshd on
service sshd start
　　开启端口



/sbin/iptable -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT
service iptables save
　　当然你也可以使22端口只接受某个ip的连接



/sbin/iptables -A INPUT -s 192.168.1.0/24 -m state --state NEW -p tcp --dport 22 -j ACCEPT
service iptables save
　　配置文件在： /etc/ssh/sshd config
　　英文地址：http://www.cyberciti.biz/faq/how-to-installing-and-using-ssh-client-server-in-linux/
　　3：设置host（三台机器都操作）



vi /etc/hosts



10.96.21.120    master
10.96.21.121    slave1
10.96.21.119    slave2
　　4：创建hadoop账户，并设置本机无密码登陆（三台机器都操作）
　　创建用户



useradd hadoop

　　设置密码为空



passwd -d hadoop

　　切换账户



su - hadoop

　　生成公私密钥



ssh-keygen -t rsa

　　到公钥所在的文件夹



cd ~
cd .ssh

　　追加公钥到信任区域



如果有authorized_keys文件则
cat id_rsa.pub>> authorized_keys
否则
cp id_rsa.pub authorized_keys

　　测试本机无密码登陆



ssh -p 22 localhost

　　5：设置master到slave的无密码登陆
　　到hadoop用户的ssh文件夹(master操作)



su - hadoop
cd ~
cd .ssh

　　复制公钥到slave1，slave2(master操作)



scp -P 60022 id_rsa.pub root@10.96.21.121:/home/hadoop/.ssh/10.96.21.120
scp -P 60022 id_rsa.pub root@10.96.21.119:/home/hadoop/.ssh/10.96.21.120

　　添加master的公钥到的slave1，slave2信任区域（slave1,slave2上操作）



su - hadoop
cd ~
cd .ssh



cat 10.96.21.120 >> authorized_keys

　　启动sshd客户端(master操作)



ssh-agent

　　添加id_rsa到ssh-agent（添加私钥到客户端）(master操作)



ssh-add id_rsa

　　验证



ssh -p 60022 slave1
ssh -p 60022 slave2
　　6：设置hadoop
　　配置hadoop-env.sh （三台机器都操作）



vi hadoop-env.sh


export JAVA_HOME=/soft/jdk1.7.0_21
export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true
export HADOOP_SSH_OPTS="-p 60022"
　　配置core-site.xml（三台机器都操作）



vi core-site.xml

fs.default.name
hdfs://master:54310
The name of the default file system.  A URI whose
scheme and authority determine the FileSystem implementation.  The
uri's scheme determines the config property (fs.SCHEME.impl) naming
the FileSystem implementation class.  The uri's authority is used to
determine the host, port, etc. for a filesystem.


hadoop.tmp.dir
/app/hadoop


　　配置hdfs-site.xml（三台机器都操作）



vi hdfs-site.xml

dfs.replication
2
Default block replication.
The actual number of replications can be specified when the file is created.
The default is used if replication is not specified in create time.



　　配置mapred-site.xml（三台机器上操作）




mapred.job.tracker
master:54311
The host and port that the MapReduce job tracker runs
at.  If "local", then jobs are run in-process as a single map
and reduce task.


　　配置master(master上操作)



vi masters
master
　　配置slave(master上操作)



vi slaves
slave1
slave2
　　设置hadoop用到的目录的权限



mkdir /app/hadoop
chmod 777 /app/hadoop
chmod 777 /soft/hadoop (hadoop所在的目录，默认日志要建立在这里)

　　7：启动集群
　　格式名称节点（master上操作）



bin/hadoop namenode -format

　　开启文件系统（master上操作）



bin/start-dfs.sh

　　开启map



bin/start-mapred.sh
　　验证
　　master


　　26463 Jps
24660 NameNode
25417 JobTracker
24842 SecondaryNameNode
　　slave


　　23823 TaskTracker
4636 DataNode
23964 Jps
　　
　　执行mapreduce程序用到的命令



bin/hadoop fs -rmr output  [删除文件夹]
bin/hadoop fs -mkdir input  [创建文件夹]
bin/hadoop fs -put /soft/hadoop/file.txt input
bin/hadoop fs -get /user/hadoop/output/part-r-00000

　　
　　 如果要用到第三方类库{比如把结果写到redis中}需要把类库放到每台服务器的lib文件夹下。
　　 注意hostname名称一致
　　 ssh只需要master到slave连通就行，不需要slave之间连通
　　 关闭防火墙
　　错误：name node is in safe mode hadoop
　　解决：bin/hadoop dfsadmin -safemode leave
　　
　　hdfs的web管理界面是http://10.96.21.120:50070/dfshealth.jsp