Hadoop完全分布分布式配置

sszxf

　　1、准备三台虚拟机、安装Ubuntu操作系统，具体过程省略
　　2、三台虚拟机上分别安装Java环境，具体过程省略（保证三者的Java路径一致）
　　3、三台机器分别配置ssh本机免密码登录
　　（1）安装ssh
　　执行命令：sudo apt-get install ssh
　　（2）生成ssh公私钥对
　　执行命令：ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
　　（3）实现本机免密码登录
　　执行命令：cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
　　（4）测试
　　执行命令：ssh localhost
　　如果出现 Last login: Sun Apr  9 08:33:24 2017 from localhost说明配置没有问题
　　4、配置host（主从都要改）
　　执行 sudo gedit /etc/hosts
　　在打开的文件夹中添加
　　192.168.181.131 slave1
　　192.168.181.132 slave2
　　两个IP是你从机的IP地址（通过ifconfig命令查看IP）
　　5、实现主机免密码访问从机
　　（1）执行命令：
　　scp authorized_keys slave1:~/.ssh/
　　scp authorized_keys slave2:~/.ssh/
　　实现将主机的公钥加到两台从机的公钥的认证文件中
　　（2）测试
　　分别执行命令：
　　ssh slave1
　　ssh slave2
　　如果出现 Last login: Sun Apr  9 08:33:24 2017 from localhost
　　说明配置没有问题
　　6、安装hadoop
　　下载，执行命令tar xzvf hadoop-1.0.1.tar.gz（我用的是1.0.1）
　　7、修改配置文件
　　（1）hadoop-env.sh
　　添加export JAVA_HOME=/home/wyh/hadoop/jdk1.6.0_45
　　（2）core-site.xml
　　<configuration>
　　<property>
　　<name>fs.default.name</name>
　　<value>hdfs://master:9000</value>
　　<description>change your own hostname</description>
　　</property>
　　<property>
　　<name>hadoop.tmp.dir</name>
　　<value>/home/hadoop/tmp</value>
　　</property>
　　</configuration>
　　（3）hdfs-site.xml
　　<configuration>
　　<property>
　　<name>dfs.replication</name>
　　<value>2</value>
　　</property>
　　</configuration>
　　（4）mapred-site.xm
　　<configuration>
　　<property>
　　<name>mapred.job.tracker</name>
　　<value>master:9001</value>
　　<description>change your own hostname</description>
　　</property>
　　</configuration>
　　（5）master
　　将masters里的localhost改成master
　　（6）slaves
将slaves里的localhost改成slave1slave1 7、从主向从复制Hadoopsudo scp -r hadoop-1.0.1 wyh@slave1:~/hadoopsudo scp -r hadoop-1.0.1 wyh@slave2:~/hadoop 8、格式化hadoop三台机器执行 bin/hadoop namenode -format 9、启动hadoop主机执行:bin/start-all.sh 10 、查看效果访问master:50030以及master:50070 ，如果能够访问，说明配置成功