hadoop 安装、配置、调试、排错

丹调生活

　　一、安装伪分布式hadoop
　　metadata
　　保存整个文件系统的元数据
　　元数据：整个文件系统的目录结构，每个目录有哪些文件，每个文件有哪些分块，每个分块保存在那个datanode上
　　namennode保存metadata，metadata会被调用到在内存中，为处理快速的“读请求”，由于metadata是非常重要的
　　数据所以它要在磁盘上有保存，当metadata中数据有变化的时候namenode会首先写editlog，同时将数据同步到磁盘，若写磁盘成功则会修改内存中的数据，并向客户端返回
　　1、hadoop 下载地址
　　http://mirror.bit.edu.cn/apache/hadoop/core/stable/
　　2、修改主机名,修改host配置文件
　　vi /etc/sysconfig/network
　　HOSTNAME=hadoop
　　vi /etc/hosts
　　172.30.82.61  hadoop
　　hostname hadoop
　　3、设置ssh
　　ssh-keygen -q -t rsa -N "" -f /root/.ssh/id_rsa
　　cd /root/.ssh/

　　cat>　　chmod 600 authorized_keys
　　4、设置java环境
　　下载jdk
　　wget http://60.28.110.228/source/package/jdk-6u31-linux-i586.bin
　　#安装jdk
　　chmod +x  jdk-6u31-linux-i586.bin
　　./jdk-6u31-linux-i586.bin
　　5、创建用户useradd hadoop -M -s /sbin/nologin
　　tar -zxvf hadoop-1.2.1.tar.gz
　　mv hadoop-1.2.1 /data/program
　　mkdir -p /data/program/hadoop/hdfs/name
　　存放namenode元数据
　　mkdir -p /data/program/hadoop/hdfs/data
　　hadoop数据存放目录
　　chown -R hadoop:hadoop /data/program/hadoop
　　6、配置hadoop
　　cd /data/program/hadoop/hadoop-1.0.3/conf/
　　vi hadoop-env.sh
　　export JAVA_HOME=/data/program/jdk1.6.0_31
　　设置hadoop java环境
　　vi core-site.xml
　　
　　
　　fs.default.name
　　hdfs://hadoop:9000
　　
　　
　　
　　乒乓！@#4
　　vi hdfs-site.xml
　　
　　
　　dfs.replication
　　1
　　
　　
　　
　　dfs.name.dir
　　/data/program/hadoop/hdfs/name
　　
　　
　　
　　dfs.date.dir
　　/data/program/hadoop/hdfs/data
　　
　　
　　
　　dfs.http.address
　　hadoop:50070
　　
　　
　　
　　vi mapred-site.xml
　　
　　
　　mapred.job.tracker
　　hadoop:9001
　　
　　
　　
　　7、启动、测试hadoop
　　/data/program/hadoop/bin/hadoop namenode -format
　　格式化文件
　　/data/program/hadoop/bin/hadoop-daemon.sh start namenode
　　/data/program/hadoop/bin/hadoop-daemon.sh start jobtracker
　　/data/program/hadoop/bin/hadoop-daemon.sh start datanode
　　/data/program/hadoop/bin/hadoop-daemon.sh start tasktracker
　　/data/program/hadoop/bin/hadoop-daemon.sh start secondarynamenode
　　启动服务
　　/data/program/hadoop/bin/hadoop-daemon.sh stop namenode
　　/data/program/hadoop/bin/hadoop-daemon.sh stop jobtracker
　　/data/program/hadoop/bin/hadoop-daemon.sh stop datanode
　　/data/program/hadoop/bin/hadoop-daemon.sh stop tasktracker
　　/data/program/hadoop/bin/hadoop-daemon.sh stop secondarynamenode
　　批量启动和关闭集群
　　/opt/modules/hadoop/hadoop-1.0.3/bin/start-all.sh
　　全部启动
　　/opt/modules/hadoop/hadoop-1.0.3/bin/stop-all.sh
　　全部关闭
　　http://hadoop:50070/ 验证hadoop是否正常启动
　　8、hadoop 报错处理
　　Format aborted in /data/program/hadoop/hdfs/name
　　13/08/19 19:30:54 INFO namenode.NameNode: SHUTDOWN_MSG:
　　/************************************************************
　　SHUTDOWN_MSG: Shutting down NameNode at hadoop/172.30.82.61
　　************************************************************/
　　/data/program/hadoop/bin/hadoop-daemon.sh start namenode
　　netstat -anlp | grep :50070 没有打开端口
　　产看日志
　　less hadoop-root-namenode-hadoop.log
　　2013-08-19 19:07:22,306 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.
　　java.io.IOException: NameNode is not formatted.
　　错误可能原因：
　　A、
　　/data/program/hadoop/hdfs  权限要设置正确
　　/data/program/hadoop/hdfs/name  /data/program/hadoop/hdfs/data;
　　name、data这两个文件不需要手动建，hadoop初始化会自动建立
　　B、
　　/etc/sysconfig/network 设置不正确
　　ssh 设置问题
　　/etc/hosts 设置问题
　　上述问题设置完成后重新启动网卡
　　ssh hadoop看是否可以不需密码连接