一.hadoop伪分布式部署

mouse

========一.hadoop伪分布式=========　　

　　
伪分布式环境配置
　　
需要安装openjdk 和openjdk-devel软件包（用的是1.8.0版本）
　　
rpm -ql Java-openjdk-devel-1.8.0 | grep ‘/bin/javac’
　　
vim /etc/profile
　　
#Java
　　
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64
　　
CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
　　
export PATH=$PATH:$JAVA_HOME/bin
　　

　　

　　

　　
#hive
　　
export HIVE_HOME=/data/hadoop/hive
　　
export PATH=$HIVE_HOME/bin:$PATH
　　

　　
#hadoop
　　
export  HADOOP_HOME=/data/hadoop/hadoop-2.7.4
　　
export PATH=$HADOOP_HOME/bin:$PATH
　　

　　
source /etc/profile
　　
java -version
　　

　　
添加hadoop 用户 useradd -m hadoop -s /bin/bash
　　
给予sudo权限 visudo 编辑配置文件的98行，在root这行下添加hadoop用户
　　
root    ALL=(ALL)       ALL
　　
hadoop  ALL=(ALL)       ALL
　　

　　
切换到hadoop 用户
　　
然后设置远程登录
　　
生成密钥对
　　
ssh-keygen -t rsa
　　
cat id_rsa.pub >> authorized_keys
　　
chmod 600 ./authorized_keys（注意权限设置）
　　

　　

　　

　　
=========二.安装hadoop=========
　　

　　

　　
wget http://114.242.101.2:808/hadoop/hadoop-2.7.4.tar.gz
　　
tar xf hadoop-2.7.4.tar.gz -C /data/hadoop
　　
chown -R hadoop.hadoop /data/hadoop/hadoop-2.7.4
　　

　　

　　
==========三.配置文件=============
　　

　　
/data/hadoop/hadoop-2.7.4/etc/hadoop/ 路径下
　　
hdfs-site.xml
　　
core-site.xml
　　
mapred-site.xml.template
　　

　　
hdfs-site.xml：这里面定义的是数据节点个数以块文件大小
　　
core-site.xml：定义的hadoop的header机
　　
mapred-site.xml.template：定义的是hadoop文件存放的调度方式
　　

　　
针对伪分布式三个配置文件如下(默认为空)
　　

　　
core-site.xml配置文件如下:
　　
   
　　
        hadoop.tmp.dir
　　
        file:/data/hadoop/hadoop-2.7.4/tmp
　　
        Abase for other temporary directories.
　　
   
　　
   
　　
        fs.defaultFS
　　
        hdfs://localhost:9000
　　
   
　　

　　

　　

　　
hdfs-site.xml配置文件如下:
　　
   
　　
        dfs.replication
　　
        1
　　
   
　　
   
　　
        dfs.namenode.name.dir
　　
        file:/data/hadoop/hadoop-2.7.4/tmp/dfs/name
　　
   
　　
   
　　
        dfs.datanode.data.dir
　　
        file:/data/hadoop/hadoop-2.7.4/tmp/dfs/data
　　
   
　　

　　

　　

　　
mapred-site.xml.template配置文件如下:
　　
   
　　
        mapreduce.framework.name
　　
        yarn
　　
   
　　
cd /data/hadoop/hadoop-2.7.4/
　　
执行./bin/hdfs namenode -format 进行格式化
　　
./sbin/start-dfs.sh
　　

　　

　　
启动完成后，可以通过命令 jps 来判断是否成功启动
　　
若成功启动则会列出如下进程: “NameNode”、”DataNode”和SecondaryNameNode
　　

　　

　　
vim ~/.bashrc 添加
　　
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64
　　
source ~/.bashrc 后重新启动
　　
搭建完成
　　

　　

　　
访问：http://192.168.0.12:50070