03Hadoop3与Centos7安装手册

sm702

　　安装hadoop
　　解压hadoop
　　sudo tar -zxvf hadoop
　　相关配置
　　1、将doc目录进行删除
　　将/hadoop01/hadoop3/share
　　下的doc目录进行删除
　　rm -rf doc
　　2、对hadoop01/hadoop3/etc/hadoop
　　修改export JAVA_HOME="/yds/java/jdk8"
　　chmod +x hadoop-env.sh
　　3、伪分布式的环境搭建
　　目录：/hadoop01/hadoop3/etc/hadoop
　　3-1、修改core-site.xml
　　在configuration节点上加
　　
　　fs.defaultFS
　　hdfs://hadoop001:9000
　　
　　注:hadoop001是主机名
　　3-2、修改hdfs-site.xml
　　在configuration节点上加
　　
　　dfs.replication
　　1
　　
　　3-3、免密设置
　　ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
　　cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
　　chmod  0600 ~/.ssh/authorized_keys
　　可通过ssh 主机名进行测试
　　3-4、启动hadoop
　　首次启动需要初始化
　　进入到bin目录下：
　　./hdfs namenode -format
　　如果需要进行hdfs直接运行。需要将hdfs放到里面
　　修改hdfs的环境变量
　　sudo /etc/profile
　　export $HADOOP_HOME=/hadoop01/hadoop3
　　export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
　　source /etc/profile
　　启动进入到sbin目录
　　./start-dfs.sh
　　查看是否启动:
　　jps
　　如果出现外网无法访问时：
　　端口外网可访问：
　　iptables -I INPUT 9 -p udp --dport 9870 -j ACCEPT
　　systemctl start firewalld.service#启动firewall
　　systemctl stop firewalld.service#停止firewall
　　systemctl disable firewalld.service#禁止firewall开机启动
　　访问hdfs:
　　http://192.168.0.130:9870