Hadoop安装记录

q3256

　　参考网页：http://vampire1126.iteye.com/blog/891693
　　http://vampire1126.iteye.com/blog/891735
　　基本上是参照这个博客做下来的，然后自己实现了下。
　　-----------------------------------------------------正式工作------------------------------------------------------
　　安装软件：
　　VMware workstation 8
　　Ubuntu 10.04LTS
　　总体步骤：
　　1.安装Ubuntu，在Ubuntu中装好jdk，hadoop和ssh-server。
　　2.配置jdk环境变量，配置hadoop，配置ssh-key
　　3.单机环境运行hadoop监测是否成功
　　4.克隆单机hadoop环境的ubuntu，将两台ubuntu加入一个局域网
　　5.配置master和slave的ip，并测试是否ping通
　　6.在所有结点上配置相关master和slave信息
　　7.在slave中拷贝master和JobTracker的公钥，在JobTracker上拷贝master公约
　　8.启动hadoop，并用wordcount程序测试是否搭建成功
　　详细步骤：
　　1. 利用VMware安装虚拟机Ubuntu，我选择的是10.04，因为10.04是长效支持版本（long-term supported）。常规的安装过程，不累述。

　　2. 进入Ubuntu之后，选择软件源为中国的源，这里我选择了163的源。

　　3. 安装JDK
　　a) 在usr下新建Java文件夹，并拷贝下载好的jdk

　　b) 改变Java目录为可执行，进入Java这个目录，并执行安装。

　　4. 安装hadoop
　　下载hadoop并将其拷贝到usr/local文件夹下，并解压缩，然后将带版本号的文件夹重命名为hadoop。对应命令如下：

　　5. 创建hadoop的用户组，并在hadoop用户组中添加hadoop用户。

　　6. 为添加的用户提供root权限。


　　7. 配置Java变量
　　打开etc下的profile文件，在文件的后面加上环境变量。


　　改好后，重新启动虚拟机。
　　8. 重启后使用hadoop用户登录

　　检测java环境变量是否配置好

　　9. 安装ssh-server。我第一次尝试的时候是在ubuntu11.10，需要事先update一下apt-get


　　创建一个rsa的ssh-key

　　将生成的ssh-key加入到信任列表：

　　10. 配置hadoop
　　为hadoop添加java环境变量：


　　配置core-site.xml


　　（上图是我已经配置好集群之后的截图，如果需要是单机环境，将master换为localhost。）
　　配置mapred-site.xml


　　（上图是我已经配置好集群之后的截图，如果需要是单机环境，将master换为localhost。）
　　11. 运行测试
　　格式化namenode

　　为hadoop用户赋予hadoop文件夹的使用权限

　　启动hadoop

　　利用jps查看已经启动的服务

　　12. 运行wordcount程序
　　在tmp文件夹下添加一个文件作为测试：

　　将其上传到hdf文件系统中：

　　执行wordcount程序，并将结果上送至result

　　查看result的结果：

　　统计结果：

　　（如果还需要继续执行其余程序，应该将输出结果放到其他文件夹，否则会出现fileAlreadyExist的错误）
　　----------------------------------------------至此，单机模式已经匹配完成------------------------------
　　13. 克隆单机配置好hadoop环境的ubuntu
　　在VM的library中的Ubuntu点击右键，选择manage中的clone，然后按照提示做一个完整的克隆。（虚拟机需要在关闭状态）
　　14. 将两台Ubuntu加入到一个局域网中。
　　在虚拟机上点击右键，选择setting，点击Network Adapter，两台都选择同一个custom模式下同一个虚拟局域网。

　　15. 设置为其中一台为Master（因为在虚拟机中，因此随便选一台即可，之后不要混淆，实际中应选取性能强劲的为Master），极为UbuntuM，另一台为UbuntuS（Ubuntu Slave）。
　　分别配置两者的IP地址：
　　Master：
　　Slave：
　　并测试能否ping通过：
　　Master：
　　Slave ping的地址是192.168.1.10
　　16. 在所有结点上，配置/usr/local/Hadoop，以下是配置好的截图，配置过程只需要用gedit或者vi打开该文件并配置即可。
　　配置hosts


　　分别用vi打开下面画线的文件，添加内容或者修改内容，添加和修改的内容用黄线划出

　　配置hdfs-sites文件：


　　17. 在slave上拷贝master的密钥


　　将这些密钥添加到信任列表


　　18.在JobTracker上拷贝master的公钥并添加到信任列表

　　19.删除/home/hadoop下的tmp文件夹（对所有结点）

　　20.在master上格式化namenode

　　21. 启动hadoop

　　利用jps查看已经启动的服务
　　Master:

　　Slave:

　　22.在master上查看系统状态

　　23.按照单机模式，利用wordcount，测试成功。
　　-----------------------------集群模式搭建成功---------------------