Hadoop伪分布安装详解(二)

xmxm76

　　目录：
　　1.修改主机名和用户名
　　2.配置静态IP地址
　　3.配置SSH无密码连接
　　4.安装JDK1.7
　　5.配置Hadoop
　　6.安装Mysql
　　7.安装Hive
　　8.安装Hbase
　　9.安装Sqoop
　　********************

1.修改主机名和用户名

• 修改主机名：Centos中通过vi /etc/sysconfig/network 修改HOSTNAME=
  

•    为了使Hadoop节点之间能互相访问，需要修改hosts文件，root用户执行并且所有节点均需执行
  

　　vi /etc/hosts

•    centos修改主机名执行useradd hadoop 添加以Hadoop为用户名的用户，执行passwd hadoop修改用户的密码
  

2. 配置静态IP地址

[iyunv@neusoft-master ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0

　　DEVICE=eth0
　　TYPE=Ethernet
　　UUID=02eb9342-c828-49a5-9e23-64e8c2d5e05e
　　ONBOOT=yes
　　NM_CONTROLLED=yes
　　BOOTPROTO=static
　　IPADDR=192.168.191.130
　　NETMASK=255.255.255.0
　　GATEWAY=192.168.191.2
　　PREFIX=24
　　DNS1=8.8.8.8
　　HWADDR=00:50:56:2C:72:E9
　　DEFROUTE=yes
　　IPV4_FAILURE_FATAL=yes
　　IPV6INIT=no
　　NAME="System eth0"
　　LAST_CONNECT=1482851817

　　注意：如果多台虚拟机复制会有问题，我罗列了遇到的问题，如果没有图形界面网络配置更简单，如果沒有問題請跳过
　　方法1：利用图形界面解决
　　(1)图形界面找见图标，编辑

　　(2)删除所有网络

　　(3)根据虚拟机配置ip，网管等

　　解决 Error:No suitable device found: no device found for connection "System eth0"
　　注意：VM的虚拟网卡VMnet8一定需要在windows操作系统的网络中开启，同时在虚拟机中配置正确的子网掩码及网关
　　存在的问题点1：
　　windows上的网络配置

　　存在的问题点2：
　　VM软件配置

　　方法2：问题复述：
　　复制好的虚拟机，启动登陆进去（用户名和密码跟之前那台是一样的），修改好IPADDR，然后网卡重启出现问题？
　　#service network restart   
　　出现问题：Error:No suitable device found: no device found for connection "System eth0"  如图所示：

　　#ifup eth0
　　出现: eth0: unknown interface: No such device 这样的问题，网卡都启动不了，出现问题.
　　解决：
　　（1）我们在界面点击Network Adapter Remove删除网卡，如图所示:

　　（2）添加一个新的网卡，就是点击add，这时跟前面一台的MAC Address 就不一样，如图所示：

　　（3）复制地址

　　（4）重新启动虚拟机，然后进入到/etc/udev/rules.d/目录
　　#cat  70-persistent-net.rules  
　　里面的信息跟我们Network Adapter的MAC Address地址一样，如图所示：

　　（5） 进入/etc/sysconfig/network-scripts/目录
　　#vi ifcfg-eth0
　　把HWADDR修改成Network Adapter的MAC Address地址一样，如图所示：

　　（6）重启网卡，这时就能正常启动，如图所示：

3.配置SSH无密码连接
　　（0）在Centos中首先关闭防火墙
　　

service iptables stop(临时关闭防火墙)　　

　　

　　永久关闭防火墙：
　　

chkconfig iptables off　　

　　

　　<补充的防火墙内容：>

• 
  
  
  
  • CentOS 6:
    
  
  

• 
  
  • 重启后不会复原，永久性生效。
    
  
  

　　开启： chkconfig iptables on
　　关闭： chkconfig iptables off
　　2.即时生效，重启后复原
　　开启： service iptables start
　　关闭： service iptables stop

• 
  
  
  
  • CentOS 7:
    
  
  

　　systemctl start firewalld.service#启动firewall
　　systemctl stop firewalld.service#停止firewall
　　systemctl disable firewalld.service#禁止firewall开机启动

• 
  
  
  
  • 查询TCP连接情况：
    
  
  

　　netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

• 
  
  
  
  • 查询端口占用情况：
    
  
  

　　netstat   -anp   |   grep  portno（例如：netstat –apn | grep 80）
　　（1） 检查ssh是否安装      
　　

yum install  ssh　　
yum install  rsync   #远程同步数据的工具
　　

　　

　　（2）启动SSH服务命令   
　　

service  sshd   restart　　

　　检查SSH是否已经安装成功     
　　

rpm  -qa  | grep  openssh       rpm  -qa  | grep  rsync 　　

　　显示相应信息即可。
　　（3）生成SSH公钥
　　对于伪分布式环境只需要本机链接本机即可：
　　主节点执行：ssh-keygen -t rsa 一路回车即可，最后显示的图形是公钥的指纹加密。
　　生成公钥后需要将公钥发到本机的authorized_keys的列表，执行：
　　ssh-copy-id  -i  ~/.ssh/id_rsa.pub root@neusoft-master  或ssh-copy-id  -i  ~/.ssh/id_rsa.pub neusoft-master(主机名)
　　也可以使用cat命令复制公钥到authorized_keys中，cat ~/.ssh/id_rsa.pub  >> ~/.ssh/authorized_keys
　　如果是多机器需要需要通过scp命令赋值到主节点中，在分发至子节点。
　　（4）检查是否可以无密码ping通：使用”ssh 主机名”的方式验证
　　这里使用的是 ssh neusoft-master 无密码输入的提示，则安装成功。
　　如果执行上述步骤仍然不成功，有可能是~/.ssh 文件夹权限问题。执行如下程序
　　chmod   700   ~/.ssh           #ssh文件夹一定是700权限
　　chmod   600   ~/.ssh/authorized_keys   #authorized_keys文件夹一定是600权限

4.安装JDK
　　（1）通过java主页下载jdk1.7.x版本，使用SecureCRT上传到Centos中
　　
　　（2）卸载原来的openjdk
　　rpm -qa  |grep  jdk  如果出现openjdk就需要卸载
　　使用yum -y   remove  xxx，其中xxx为刚才rpm -qa  |grep  jdk的结果
　　（3）方法1利用tar包安装JDK

• 解压tar文件
  

　　tar -zxvf  jdk-7u80-linux-x64.tar.gz

• 配置环境变量  vi /etc/profile
  

　　

export JAVA_HOME=/opt/jdk1.7.0_80  或/usr/java/default   #根據书记情况改写　　

　　
export PATH
=$PATH:$JAVA_HOME/bin　　

• 立马生效
  

　　

  source  /etc/profile　　

• 验证安装 ，如下java -version
  

　　
　　（4）方法2利用rpm包安装JDK

• 如果是rpm文件只需要执行以下命令：
  

　　rpm  -ivh  oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm （使用该文件方便）
　　cd   /usr/java/
　　ls
　　ln -s jdk1.7.0-cloudera lastest   
　　ln -s /usr/java/lastest    default
　　ls -l   #环境变量配置参考如下
　　配置环境变量  vi /etc/profile 修改如下：
　　

export JAVA_HOME=/opt/jdk1.7.0_80  或/usr/java/default   #根據书记情况改写　　

　　
export PATH
=$PATH:$JAVA_HOME/bin　　

　　如下图所示：

     

• 立马生效
  

　　

      source  /etc/profile　　

• 验证安装 ，如下java -version
  

　　
　　END~  如果遇到安裝的問題請直接提問~