spark+hadoop+scala集群配置

kjfhgds

centos下，安装spark+hadoop+scala，

说下我遇到的问题和注意事项

1、hadoop的文件夹及用户问题

假定是3台部署，1台master,2台slave,在master,slave1,slave2上均建立hadoop用户，

然后用命令修改所有者

sudo chown -hR hadoop /srv/hadoop

2、低级错误，端口号，主要是全角的冒号：:导致的

hdfs://master:9000和hdfs：//master：9000

因为复制的电子书的配置文件

3、端口号，no route to host

这是个组名的问题难题，虽然官方有说明，但一点解决不了问题

还是要自己解决

一个是关闭防火墙，另外一个是查看端口telnet ip 端口号，

sudo iptables -F

缺点是机器重启后要重新运行一次

netstat -ntual | grep 9000

4、SSH免密码登录

ssh-keygen -t rsa  而不是ssh-keygen -trsa，书上的错误

5、HOSTS配置
192.168.0.100 master
192.168.0.200 slave1
192.168.0.201 slave2

6、JPS少了进场
master运行JPS，只有namenode ,secondarynamenode，jps ，resourcemanager

slave运行jps ,只有datanode,nodemanager，jps

50070能访问，但50030不能，没有jobtracker和 tasktracker

原因是2.*版本后没有了这2个