hadoop3种集群方式

yxsailing

　　hadoop3种集群方式包括独立模式、伪分布式模式和完全分布式模式
　　1独立模式
　　安装
　　a)下载jdk-8u65-linux-x64.tar.gz
　　b)tar开
　　$>su centos ; cd ~
　　$>mkdir downloads
　　$>cp /mnt/hdfs/downloads/bigdata/jdk-8u65-linux-x64.tar.gz ~/downlooads
　　$>tar -xzvf jdk-8u65-linux-x64.tar.gz
　　c)创建/soft文件夹
　　$>sudo mkdir /soft
　　$>sudo chown centos:centos /soft
　　d)移动tar开的文件到/soft下
　　$>mv ~/downloads/jdk-1.8.0_65 /soft/
　　e)创建符号连接
　　$>ln -s /soft/jdk-1.8.0_65 /soft/jdk
　　f)验证jdk安装是否成功
　　$>cd /soft/jdk/bin
　　$>./java -version
　　配置jdk环境变量
　　1.编辑/etc/profile
　　$>sudo nano /etc/profile
　　...
　　export JAVA_HOME=/soft/jdk
　　exprot PATH=$PATH:$JAVA_HOME/bin
　　2.使环境变量即刻生效
　　$>source /etc/profile
　　3.进入任意目录下,测试是否ok
　　$>cd ~
　　$>java -version
　　注意点

　　你创建文件夹一定和你登陆的用户一致
　　安装HADOOP软件
　　1.安装hadoop
　　a)下载hadoop-2.7.3.tar.gz
　　b)tar开
　　$>su centos ; cd ~
　　$>cp /mnt/hdfs/downloads/bigdata/hadoop-2.7.3.tar.gz ~/downloads
　　$>tar -xzvf hadoop-2.7.3.tar.gz
　　c)无
　　d)移动tar开的文件到/soft下
　　$>mv ~/downloads/hadoop-2.7.3 /soft/
　　e)创建符号连接
　　$>ln -s /soft/hadoop-2.7.3 /soft/hadoop
　　f)验证hadoop安装是否成功
　　$>cd /soft/hadoop/bin
　　$>./hadoop version
　　2.配置hadoop环境变量
　　$>sudo nano /etc/profile
　　...
　　export JAVA_HOME=/soft/jdk
　　exprot PATH=$PATH:$JAVA_HOME/bin
　　export HADOOP_HOME=/soft/hadoop
　　export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
　　3.生效
　　$>source /etc/profile
　　4.进入任意目录下,测试是否ok
　　$>cd ~
　　$>hadoop version
　　5.nothing !
　　不需要启用单独的hadoop进程。
　　6.hafs dfs -ls /home 和 linux中的ls效果一样
　　伪分布模式（Pseudodistributed mode）
　　a)进入${HADOOP_HOME}/etc/hadoop目录
　　三种模式共存
　　1.创建三个配置目录,内容等同于hadoop目录
　　${hadoop_home}/etc/local
　　${hadoop_home}/etc/pesudo
　　${hadoop_home}/etc/full
　　2.创建符号连接
　　$>ln -spesudo hadoop
　　b)编辑core-site.xml
　　
　　
　　
　　fs.defaultFS
　　hdfs://localhost/
　　
　　
　　c)编辑hdfs-site.xml
　　
　　
　　
　　dfs.replication
　　1
　　
　　
　　d)编辑mapred-site.xml
　　注意:cp mapred-site.xml.template mapred-site.xml
　　
　　
　　
　　mapreduce.framework.name
　　yarn
　　
　　
　　e)编辑yarn-site.xml
　　
　　
　　
　　yarn.resourcemanager.hostname
　　localhost
　　
　　
　　yarn.nodemanager.aux-services
　　mapreduce_shuffle
　　
　　
　　配置：core-site.xml hdfs-site.xmls yarn-site.xml mapred-site.xml
　　f)配置SSH