Hadoop学习系列教程——单机版hadoop的配置安装

eagle

　　操作系统环境：ubuntu12.10 desktop 64位版、vitrualbox 4.2.6
　　在virtualbox中安装ubuntu，使用桥接网卡模式，使得虚拟机中的ubuntu也能够访问公网。因为我们需要通过unbuntu的apt命令来安装环境，并在ubuntu中下载hadoop。
　　
　　Ubuntu安装完毕后，按一下win键，在搜索框中输入“terminal”，即可找到Ubuntu中的终端，这里可以将终端固定到左侧的启动栏中，方便今后快速启动。

　　
　　在Ubuntu中安装JDK
　　JDK是Hadoop编译和MapReduce运行的基础
　　在终端中，键入以下命令：sudo apt-get install openjdk-6-jdk
　　因为考虑到所有软件的兼容性，我们使用1.6版本的jdk。Openjdk在安装完成后，会自动配置java环境变量。我们使用java –version命令来验证安装是否成功。如果终端中出现以下字样，即代表jdk安装成功：
　　OpenJDK Runtime Environment (IcedTea6 1.11.5)(6b24-1.11.5-0ubuntu1~12.10.1)
　　OpenJDK 64-Bit Server VM (build 20.0-b12,minxed mode)
　　
　　在Ubuntu中安装SSH
　　Hadoop通过SSH（安全外壳协议）来启动集群中其他机器的进程，虽然我们这里安装的是单机版的Hadoop，但是也必须安装SSH。在终端中键入命令：sudo apt-get install ssh 即可完成安装。此外，还需要配置SSH免密码登录，以避免在运行hadoop时被重复提示输入密码。在终端中输入：
　　ssh-keygen –t rsa –P ‘’ –f ~/.ssh/id_rsa
　　cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys
　　第一句在.ssh目录中创建私钥id_rsa和公钥id_rsa.pub。
　　第二句将公钥添加到用于认证的公钥文件。
　　使用ssh –version命令，出现如下字样，代表ssh安装成功
　　OpenSSH_6.0p1 Debian-3ubuntu1,OpenSSL 1.0.1c 10 May 2012
　　Bad escape character ‘rsion’
　　使用ssh localhost命令测试连接本机，不提示输入密码并出现以下字样代表连接成功
　　Welcome to Ubuntu 12.10 (GNU/Linux 3.5.0-17-generic x86_64)
　　* Documentation:  https://help.ubuntu.com/
　　239 packages can be updated.
　　51 updates are security updates.
　　Last login: Sat Jan 19 16:48:09 2013 from localhost
　　
　　在Ubuntu中安装rsync
　　rsync是一个数据镜像备份工具。在终端中输入命令sudo apt-get install rsync即可安装。
　　
　　下载hadoop包
　　在ubuntu中，使用浏览器登录hadoop.apache.org，下载一个hadoop的稳定版安装包，这里我们选择的是hadoop-1.0.4.bin.tar.gz

　　Firefox会默认将文件下载到“下载”文件夹下，我们将hadoop-1.0.4.bin.tar.gz包剪切到主文件夹下，在终端中运行tar-xvf hadoop-1.0.4-bin.tar.gz命令解压到主文件夹中。
　　
　　配置hadoop
　　将jdk的安装位置配置到hadoop-env.sh中。使用文本编辑器打开~/hadoop-1.0.4/conf文件夹下的hadoop-env.sh文件，添加一行:
　　export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-amd64
　　在~/hadoop-1.0.4/conf/core-site.xml的configuration标签中添加以下内容，以配置hdfs的地址和端口号：
　　
　　fs.default.name
　　hdfs://localhost:9000
　　
　　在~/hadoop-1.0.4/conf/hdfs-site.xml的configuration标签中添加以下内容，以配置hdfs的备份数，单机版为1：
　　
　　dfs.replication
　　1
　　
　　在~/hadoop-1.0.4/conf/mapred-site.xml的configuration标签中添加以下内容，以配置的JobTracker地址和端口号：
　　
　　mapred.job.tracker
　　localhost:9001
　　
　　
　　格式化HDFS并启动Hadoop
　　终端进入hadoop-1.0.4目录下，输入bin/hadoop namenode –format 以格式化hdfs
　　输入bin/start-all.sh以启动hadoop。
　　
　　验证hadoop成功启动
　　浏览器查看mapreduce页面：http://localhost:50030

　　查看hdfs页面：http://localhost:50070

　　能够看到上图两个页面，即代表hadoop成功启动。
　　至此，单机版的hadoop安装完毕。