hadoop 2.7.3 云服务器 伪分布式部署

蓝晶灵

　　1.配置环境变量
　　配置hadoop环境变量，这样就可以在任意目录中使用hadoop指令
　　

vim /etc/profile　　

　　

jdk环境变量　　
export JAVA_HOME
=/usr/local/jdk/jdk1.8.0_131　　
export JRE_HOME
=/usr/local/jdk/jdk1.8.0_131/jre
　　
export>=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH　　
export PATH
=$JAVA_HOME/bin:$PATH　　

　　

　　
hdoop环境变量 我hadoop放在
/usr/local/hdaoop下　　
export HADOOP_HOME
=/usr/local/hadoop/hadoop-2.7.3　　
export PATH
=$HADOOP_HOME/bin:$PATH　　

　　

　　

　　2.设置ssh免密本机登录
　　安装
　　

yum install openssh-server　　

　　创建ssh文件夹，在ssh文件夹下创建两个文件id_dsa及id_dsa.pub,这是一对私钥和公钥，然后把id_dsa.pub(公钥)追加到授权的key里面去。
　　

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa　　

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys　　

　　3.解压hadoop压缩包 我放在/usr/local/hadoop 下
　　4.修改 hadoop-2.7.3/etc 下的4个配置文件
　　core-site.xml
　　

    <configuration>　　<property>
　　<name>hadoop.tmp.dir</name>
　　<value>/usr/local/hadoop/tmp</value>
　　</property>
　　<property>
　　<name>fs.default.name</name>
　　<value>hdfs://0.0.0.0:9000</value>
　　</property>
　　</configuration>
　　

　　hdfs-site.xml
　　

    <configuration>　　<property>
　　<name>dfs.replication</name>
　　<value>1</value>
　　</property>
　　<property>
　　<name>dfs.permissions</name>
　　<value>false</value>
　　</property>
　　<property>
　　<name>dfs.namenode.name.dir</name>
　　<value>/usr/local/hadoop/tmp/dfs/namenode</value>
　　</property>
　　<property>
　　<name>dfs.datanode.data.dir</name>
　　<value>/usr/local/hadoop/tmp/dfs/datanode</value>
　　</property>
　　</configuration>
　　

　　修改mapred-site.xml.template 文件名为 mapred-site.xml在修改
　　

<configuration>　　<property>
　　<name>mapreduce.framework.name</name>
　　<value>yarn</value>
　　</property>
　　<property>
　　<name>mapred.job.tracker</name>
　　<value>master:9001</value>
　　</property>
　　</configuration>
　　

　　修改slaves文件内容为
　　master
　　5.在 /etc/hosts 文件中添加
　　xxx.xxx.xxx.xxx master
　　xxx.xxx.xxx.xxx为你的服务器公网ip
　　6.第一次启动需要格式化namenode
　　

hadoop namenode -format　　

　　启动hadoop服务
　　

/usr/local/hadoop/hadoop-2.7.3/sbin/start-all.sh　　

　　停止
　　

/usr/local/hadoop/hadoop-2.7.3/sbin/stop-all.sh