hadoop+hive+spark搭建（一）

蓝晶灵

　　1.准备三台虚拟机
　　2.hadoop+hive+spark＋java软件包
　　传送门：Hadoop官网　　Hive官网　　Spark官网

   

一、修改主机名,hosts文件
　　主机名修改
　　hostnamectl set-hostname ***
　　hosts文件修改
　　vi /etc/hosts　　　　写入以下内容
　　master 192.168.0.110
　　slaver1 192.168.0.111
　　slaver2 192.168.0.112
　　SSH免登陆
　　运行命令 ssh-keygen -t rsa生成秘钥

　　master节点运行命令 cat>　　ssh slaver1 cat ~/.ssh/id_rsa.pub >>authorized_keys
　　ssh slaver2 cat ~/.ssh/id_rsa.pub >>authorized_keys
　　scp authorized_key root@slaver1:~/.ssh/
　　scp authorized_key root@slaver2:~/.ssh/
　　vi /etc/ssh/sshd删掉以下注释

　　执行完如上操作即可免密登录

二、java环境配置
　　上传java软件包到各节点并解压缩java软件包到/usr/local/目录下重命名为

　　配置java环境变量
　　　编辑/etc/profile文件，并追加
　　export JAVA_HOME=/usr/local/jdk1.8.0
　　export PATH=$JAVA_HOME/bin:$PATH
　　　运行source /etc/profile命令　
　测试java环境变量
　　运行java -version命令

　　成功安装并配置java
三、Hadoop环境搭建
　　上传hadoop软件包并解压缩hadoop软件包到/usr/local/目录下重命名hadoop

　　编辑/etc/profile文件，并追加
　　export HADOOP_HOME=/usr/local/hadoop
　　export PATH=$HADOOP_HOME/bin:$PATH
　　　　运行source /etc/profile命令
　　修改配置文件hadoop目录下etc/hadoop/hadoop-env.sh如下

　　修改配置文件hadoop目录下etc/hadoop/core-site.xml如下

　　修改配置文件hadoop目录下etc/hadoop/hdfs-site.xml如下

　　修改配置文件hadoop目录下etc/hadoop/yarn-site.xml如下

　　修改配置文件hadoop目录下etc/hadoop/mapred-site.xml如下

　　编辑hadoop目录下etc/hadoop/master

　　编辑hadoop目录下etc/hadoop/slaves
　　　　
　　格式化HDFS
　　master节点运行命令hdfs namenode -format
　　master节点运行hadoop目录下sbin/start.all.sh启动所有程序
浏览器下输入192.168.0.110:50070即可打开web界面hadoop

在master和slave节点上输入命令jps

　　

hadoop搭建成功

lixj3

没有 HA 没有 yarn，mapreduce 的资源配置