2.7.3版本hadoop之HDFS环境搭建之浅谈

friht

　　环境：vm虚拟机、centos7 x64  
　　相关软件：
　　1.8版本jdk安装包  Hadoop安装包等
　　OK，接下来，重头戏开始了！！！
　　首先关闭防火墙 便于虚机之外的主机访问（坑一）
　　systemctl stop firewalld.service #停止firewall
　　systemctl disable firewalld.service #禁止firewall开机启动
　　操作步骤：
　　1.把相关软件包上传到虚机，此处用到的工具 WinSCP
　　2.解压到指定路径，便于统一管理.
　　3.配置Java环境
　　/etc/profile下添加如下内容即可：

　　此处，切记 属性值不要有空格之类的，不然会出错，致使整个系统的内置的shell指令，无法使用，若真出现上述问题，
　　还是有解决之法的：export PATH=/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin 即可
　　修改完成后，执行 ，使配置文件生效。

　　输入上述指令验证Java环境是否配好。
　　4.安装hadoop至/usr/local/mysoft/hadoop
　　Hadoop解压后即可使用，通过如下指令验证Hadoop是否可用

　　Hadoop配置文件说明
　　Hadoop 的运行方式是由配置文件决定的（运行 Hadoop 时会读取配置文件），因此如果需要从伪分布式模式切换回非分布式模式，需要删除 core-site.xml 中的配置项。
　　此外，伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行（官方教程如此），不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format 才行。所以我们进行了设置，同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。
　　./etc/hadoop
　　core-site.xml

　　hdfs-site.xml

　　上述配置完毕，执行
　　结果：
　　如果在这一步时提示 Error: JAVA_HOME is not set and could not be found. 的错误，则说明之前设置 JAVA_HOME 环境变量那边就没设置好，请按教程先设置好 JAVA_HOME 变量，否则后面的过程都是进行不下去的。
　　解决方案1：./etc/hadoop hadoop-env.sh 添加
　　2：~/.bashrc中设置，添加内容如上
　　启动Hadoop完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”（如果 SecondaryNameNode 没有启动，请运行 sbin/stop-dfs.sh 关闭进程，然后再次尝试启动尝试）。如果没有 NameNode 或 DataNode ，那就是配置不成功，请仔细检查之前步骤，或通过查看启动日志排查原因。

　　可以访问web界面，查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。