Mac Serria 安装Hadoop以及免密码登录localhost

beebe_3

1. 安装hadoop
　　最近想学习下hadoop的使用，尝试在mac上进行安装。这里也放一下mac安装hadoop的简单教程。安装hadoop在mac上非常简单，使用brew这个工具可以非常方便的安装hadoop。安装好brew之后，直接使用
　　

brew install hadoop　　

　　即可安装hadoop2.7.3。
　　
重要的部分是如何配置hadoop的一些文件，一共要配置5个文件。

• hadoop-env.sh(配置hadoop环境)
  
• core-site.xml(配置NameNode主机名与端口)
  
• hdfs-site.xml(配置HDFS的默认参数副本数)
  
• mapred-site.xml(配置JobTracker主机名与端口)
  
• yarn-site.xml　　
  这五个文件的位置在/usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop中。如果该目录下没有，应该是以*.xml.template形式存在，直接复制改名为*.xml再进行配置。
  
  

　　这五个个文件的配置主要参考这个链接，直接复制代码到对应的文件即可。但是要注意vim core-site.xml的过程中，原文作者指定的hadoop.tmp.dir到他hadoop的目录下，由于我们使用的是brew安装，所以我们可以把
　　

<value>/Users/k/hadoop-2.7.2/tmp/hadoop-${user.name}</value>　　

　　改为brew安装的hadoop的默认位置
　　

<value>/usr/local/Cellar/hadoop/hdfs/tmp</value>　　

2. 免密码登录localhost
　　首先可以尝试这个链接中的方法
　　

1. ssh-keygen -t rsa　　
Press enter for each line 提示输入直接按回车就好
　　
2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
　　
3. chmod og-wx ~/.ssh/authorized_keys
　　

　　测试 ssh localhost如果仍然提示要输入密码，那么可以vim ~/.ssh/config文件，添加以下代码。
　　

Host localhost　　AddKeysToAgent yes
　　UseKeychain yes
　　IdentityFile ~/.ssh/id_rsa
　　

　　测试 ssh localhost，不再提示需要输入密码。

3. 测试
　　完成上述步骤后，开始测试安装。
　　
首先安装HDFS并格式化namenode
　　

hdfs namenode -format　　

　　之后启动hadoop
　　

start-all.sh　　

　　验证安装是否成功
　　
输入jps
　　

　　
或者
　　
打开http://localhost:50070,进入hdfs管理页面
　　
打开http://localhost:8088,进入hadoop进程管理页面
　　验证完毕关闭hadoop
　　

stop-all.sh