Hadoop-1.0.4单机伪分布式环境搭建

5290589

　　1.搭建环境
　　ubuntu-12.04.1-desktop-i386.iso
　　java jdk6　　
　　hadoop-1.0.4
　　2.jdk的安装与配置
　　下载 jdk 6 下载地址：http://www.oracle.com/technetwork/cn/java/javase/downloads/index.html
　　创建安装目录 /usr/java

　　将下载的jdk复制到该目录下

　　进入usr/java 目录下 首先改变该文件的权限

　　然后执行自解压命令：sudo ./jdk-6u43-linux-i586.bin
　　配置java环境变量：进入/etc/profile

　　在文件尾添加如下内容：
　　export JAVA_HOME=/usr/java/jdk1.6.0_43
　　export PATH=$JAVA_HOME/bin:$PATH
　　export CLASSPATH=.:JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
　　保存后运行 source /etc/profile 让配置文件生效 可以用 echo $PATH 和echo $CLASSPATH 看配置是否正确
　　配置成功以后运行java -version 出现下图所示,java环境即配置成功

　　至此java环境配置成功。
　　3.hadoop安装及配置
　　1.创建Hadoop用户及用户组
　　sudo addgroup hadoop
　　　　　　sudo adduser -ingroup hadoop hadoop

　　java环境变量在hadoop用户下可能没有生效，用source /ect/profile 命令让配置文件生效即可
　　给hadoop用户赋予root权限
　　　　　　　　进入root下: su root
　　　　　　　　修改 /etc/sudoers 在root ALL=(ALL:ALL) ALL下增加一行
　　　　　　　　hadoop ALL=(ALL:ALL) ALL
　　2.SSH安装配置
　　从ubuntu的软件库中直接安装ssh
　　sudo apt-get install ssh openssh-server
　　生成密钥
　　ssh-keygen

　　进入密钥保存的目录
　　cd ~/.ssh
　　可以看到目录下有两个密钥文件 一个是私钥一个是公钥

　　复制ssh的公钥
　　cp id_rsa.pub authorized_keys
　　配置完成后就可以用ssh 进行无密码登录，第一次登录的时候可能会出现如下提示：

　　出现提示的时候输入yes即可 第二次登录就没有问题了

　　3.hadoop安装配置
　　下载hadoop-1.0.4.bin.tar.gz  http://mirrors.cnnic.cn/apache/hadoop/common/
　　将其复制到/usr 目录下 并解压

　　改变hadoop-1.0.4的使用权限
　　sudo chown hadoop:hadoop hadoop-1.0.4

　　进入hadoop-1.0.1/conf/目录下 编辑hadoop的配置文件
　　首先配置hadoop-env.sh(记录脚本使用的环境变量)
　　sudo gedit hadoop-env.sh
　　　　　　　　　 （用ssh locahost登录以后 好像用gedit编辑不了 用exit退出以后就可以编辑了）　　　　
　　　　　　　　 配置core-site.xml(hadoop core的配置项)
　　在configuration中加入
　　
　　fs.default.name//默认的文件系统，通过该端口可以访问hadoop的namenode
　　hdfs://localhost:9000
　　
　　
　　hadoop.tmp.dir//设置hadoop的临时目录，hdfs的临时目录存放在该临时目录下
　　/opt/tmp/hadoop-${user.name}
　　
　　 配置hdfs-site.xml(Hadoop守护进程的配置项)
　　　　　　　　　　在configuration中加入
　　
　　dfs.replication//文件进行备份的份数
　　1
　　
　　配置mapred-site.xml:(MapReduce守护进程的配置项)
　　在configuration中加入
　　
　　mapred.job.tracker//指定jobtracker的RPC服务器地址和端口
　　localhost:9001
　　
　　
　　mapred.child.tmp//mapred运行时的临时目录
　　/opt/tmp
　　
　　至此hadoop的安装配置完毕。
　　4.hadoop的运行
　　
　　对namenode 进行格式化
　　在格式化的时候出现了错误：　　　　

　　这是由于hadoop用户没有/opt 目录的操作权限造成的 改变/opt目录的权限再进行格式化即可 sudo chown hadoop:hadoop opt

　　格式化以后即可启动hadoop

　　用jps可以看到系统启动了如下进程

　　启动的日志在/hadoop-1.0.4/logs/下 如果出错可以通过查看log来找出错误
　　启动hadoop以后通过localhost:50030发现不能访问，查看日志 发现是如下错误:
　　java.io.exception:could only be replicated to 0 nodes instead of 1;
　　检查以后将/opt 下的tmp目录删除,重新格式化了一下namenode并关闭了防火墙 sudo ufw disabled 就可以了
　　hadoop启动以后 就可以通过localhost:50030 访问jobtracker

　　通过localhost:50070 访问namenode

　　
　　至此所有配置完毕。