两台 Ubuntu 机器实现 Hadoop 集群

urcqzcpvtf

　　实验环境：一台是 Ubuntu 10.04 机器，另一台是安装在 Windows XP 下通过 Vmware Server 的虚拟机，该系统也是 Ubuntu 10.04。可以利用 LVM 的“快照”功能实现数据备份
。

　　
　　1.  实现 Hadoop 集群时，用到以下这些软件：

• Ubuntu Linux
  10.04 LTS, 8.10, 8.04 LTS, 7.10, 7.04 (9.10 and 9.04 should work as well)
  
  
• Hadoop
  0.20.2, released February 2010 (also works with 0.13.x - 0.19.x)
  
  
• 
  Sun JDK 6 6u21
  (1.6.21), 安装 JDK 详细步骤
  （该页面的 PDF 文件已上传到附件）。如在服务器上，我们只需安装
  Sun JRE 6u21
  即可。
  注意，jdk-6u21-linux-i586.bin 需通过 VPN 才能下载；
  
• 
  OpenSSH
  Server，在 Ubuntu 中输入 sudo apt-get install openssh-server 即可安装
  
• 
  Rsync
  

　　使用 PuTTy
的 scp 功能实现文件传输


C:\Documents and Settings\Huagang Li>pscp -i E:\key\doug_lee_id_rsa.ppk -P 2323
-scp "E:\Software\Linux Server\JDK\jdk-6u21-linux-i586.bin" lewis@192.168.1.198:
/home/lewis/
jdk-6u21-linux-i586.bin   | 81889 kB | 3899.5 kB/s | ETA: 00:00:00 | 100%
pscp -i E:\key\doug_lee_id_rsa.ppk -P 2323 -scp "H:\Search Engine\Open Source\hadoop-0.21.0.tar.gz" lewis@192.168.1.199:/home/lewis/
　　
　　注意

：利用 Vmware Server 在 Windows XP 上安装 Ubuntu 10.04 完成后，记得执行以下命令，不然安装软件时出现
LC_ALL = (unset)
错误：


# 前提是 /etc/default/locale 文件的内容为（不包括 # 号）：
# LANG="en_US.UTF-8"
# LANGUAGE="en_US:en"
sudo locale-gen en_US.UTF-8
 　　
　　2.  配置 Hadoop 信息请浏览参考资料一

　　
　　
　　参考资料

• 
  
  Running Hadoop On Ubuntu Linux (Multi-Node Cluster)
  
  
• 
  
  Running Hadoop On Ubuntu Linux (Single-Node Cluster)
  
  
• 
  
  用 Hadoop 进行分布式数据处理
  
  
• 
  
  使用 Linux 和 Hadoop 进行分布式计算