hadoop学习一：hadoop 集群搭建

云深处

　　hadoop集群搭建
　　硬件环境：redhat 三个节点node1,node2,node3（虚拟机）
　　一：为三个节点新建用户grid
　　二：配置ssh免登录
　　（在node1节点）使用grid用户登录，
　　运行ssh -keygen -t rsa
　　切换到 .ssh目录下，复制当前目录下的id_rsa.pub并重命名为authorized_keys
　　（在node2节点）使用grid用户登录，
　　运行ssh -keygen -t rsa
　　切换到 .ssh目录下，复制当前目录下的id_rsa.pub并重命名为authorized_keys
　　（在node3节点）使用grid用户登录，
　　运行ssh -keygen -t rsa
　　切换到 .ssh目录下，复制当前目录下的id_rsa.pub并重命名为authorized_keys
　　分别将node1,node2,node3三个节点中的内容复制到一个authorized_keys中，并将其他节点的   authorized_keys文件覆盖。然后重启network服务
　　三：修改机器名和hosts文件
　　修改主机名：修改/etc/sysconfig/network文件中的HOSTNAME
　　在/etc/hosts文件中添加（每一个节点中的hosts都需要修改
　　namenode和datenode节点的ip和机器名
　　192.168.77.130 node1
　　192.168.78.128 node2
　　192.168.78.129 node3
　　四：安装jdk
　　配置jdk环境变量
　　修改/etc/profile文件
　　在文件中添加
　　export JAVA_HOME=/home/jdk1.6.0_45 //jdk home目录

　　export>　　export PATH=$JAVA_HOME/bin:$PATH
　　然后 source /etc/profile即可
　　五：安装，配置hadoop
　　需要修改的文件：hadoop/conf目录下的hadoop-env.sh ,hdfs-site.xml ,
　　core-site.xml,mapred-site.xm,masters,slaves文件
　　1、hadoop-env.sh文件
　　在hadoop-env.sh文件中配置javahome ：export JAVA_HOME=/home/jdk1.6.0_45
　　2、hdfs-site.xml文件
　　在hdfs-site.xml文件中添加属性dfs.replication，其value值为hdfs复制份数
　　
　　dfs.replication
　　2
　　
　　3、core-site.xml文件
　　在core-site.xml文件中添加属性fs.default.name和hadoop.tmp.dir
　　
　　fs.default.name
　　hdfs://node1:9000
　　
　　
　　hadoop.tmp.dir
　　/home/grid/hadoop-1.2.1/tmp
　　
　　4、mapred-site.xml文件
　　在mapred-site.xml文件中添加属性mapred.job.tracker
　　
　　mapred.job.tracker
　　node1:9001
　　
　　5、masters文件
　　在masters文件中添加namenode的机器名
　　node1
　　6、slaves
　　在slaves文件中添加datanode的机器名
　　node2
　　node3
　　六：启动
　　切换到bin目录下
　　执行命令：hadoop namenode -format
　　启动：./start-all.sh
　　查看进程：jps
　　登录到web控制页面：
　　ip：50030和50070端口