Hadoop 配置

wangwengwu

一 ssh 无密码　　master 无密码访问slave  其他类似
　　master:
　　ssh-keygen -t dsa -P '' -f  .ssh/id_dsa
　　cat  .ssh/id_dsa.pub >>  .ssh/authorized_keys
　　scp .ssh/id_dsa.pub hadoop@slave:/home/hadoop/
　　slave:

　　cat>　　chmod 600 .ssh/authorized_keys
　　/etc/ssh/sshd_config 打开配置：
　　RSAAuthentication yes
PubkeyAuthentication yesAuthorizedKeysFile.ssh/authorized_keys　　二、/etc/hosts配置
192.168.147.129  master192.168.147.130 slave　　三、hadoop配置文件配置(conf目录下)
masters 文件：　　master
　　slaves    文件：
　　slave
　　master
　　core-site.xml:
　　
　　
　　
　　hadoop.tmp.dir
　　/home/hadoop/tmp
　　A base for other temporary directories.
　　
　　
　　
　　fs.default.name
　　hdfs://master:9000
　　
　　
　　hdfs-site.xml:
　　
　　dfs.replication
　　1
　　
　　
mapred-site.xml:　　
　　mapred.job.tracker
　　master:9001
　　
　　
　　四、格式化文件系统： hadoop namenode –format
　　五、启动守护进程 ：start-all.sh
　　六、查看进程信息：jps
　　七、查看集群状态：hadoop dfsadmin -report
　　八、web访问地址：http://192.168.147.129:50070
　　九、防火墙关闭 sudo /etc/init.d/iptables stop
　　十、测试
　　命令：hadoop jar hadoop-examples-0.20.203.0.jar wordcount input output
　　查看结果：hadoop fs -cat output/part-r-00000