hadoop2.2.0集群配置

韩蓝尹

 

 hadoop2.2.0集群配置 - RedHat 使用CentOS的yum源 

  要玩转Redhat、CentOS，就得先学会yum的配置，学会了yum的配置，使用linux进行hadoop、tair、tfs的配置就事半功倍。我在此处绕过很多弯，栽过跟头，所以把过程和经验教训记下来，总结巩固一下自己这方面的能力。也可以给需要玩linux的朋友一些参考。
    此文很多内容是网上查到的，我只是在此基础上，提供一些个人看法很经验。
配置环境：
我的测试环境是：  Redhat 5.6 x86_64  系统
 
一、确认RedHat的版本和系统位数

     由于Redhat 有5.x的版本和6.x的版本，所以CentOS也有与之对应的版本，如果是Redhat 5.x，就要用CentOS5.x的源，如果是Redhat 6.x，就要用CentOS6.x的源。而且系统还分32位和64位，如果版本错了，前期工作就都白费了。所以，就要先看看版本。使用以下两个方法
      查看系统版本：cat /etc/redhat-release

      参考系统位数：uname -m  ，如果是x86_64就是64位系统
   
 

二、删除redhat原有的yum源
     删除yum源命令：
        rpm -aq | grep yum| xargs rpm -e --nodeps
   
   
 
    删除完成执行yum就会提示找不到文件或者文件夹
 
三 . 下载yum安装包
        以root用户进入到/opt目录，执行下载命令。
        大家一定要看清楚红色部分，是最有可能改变的，比如5.10，如果出了5.11，那么这个地方就要随之改变。还有就是
yum-metadata-parser-1.1.2-3.el5.centos.i386.rpm中红色的部分，由于软件更新， 这个版本也会改变。如果在下载过程出现错误，提示找不到文件或者ftp错误等等，就应该手动到
http://mirrors.163.com/centos/5.10/os/i386/CentOS/目录中通过yum-metadata-parser这个软件名称去查找，然后将最新的下载到本机。不要局限与我提供的URL地址。
         32位系统：
         wget http://mirrors.163.com/centos/5.10/os/i386/CentOS/yum-metadata-parser-1.1.2-3.el5.centos.i386.rpm
         wget http://mirrors.163.com/centos/5.10/os/i386/CentOS/yum-3.2.22-39.el5.centos.noarch.rpm
         wget http://mirrors.163.com/centos/5.10/os/i386/CentOS/yum-fastestmirror-1.1.16-21.el5.centos.noarch.rpm
         64位系统：
         wget http://mirrors.163.com/centos/5.10/os/x86_64/CentOS/yum-metadata-parser-1.1.2-4.el5.x86_64.rpm
         wget http://mirrors.163.com/centos/5.10/os/x86_64/CentOS/yum-3.2.22-40.el5.centos.noarch.rpm
         wget http://mirrors.163.com/centos/5.10/os/x86_64/CentOS/yum-fastestmirror-1.1.16-21.el5.centos.noarch.rpm
      
       另外：如果还报错，看看是不是还依赖python-iniparse-0.2.3-4.el5.noarch.rpm，用python-iniparse去目录找个最新的安装，但我的系统里已安装了，是系统默认Python2.4中自带的。如果你的系统没有安装，请安装吧。
 
四、 安装yum安装包
        以root用户在rpm文件所在目录执行以下命令：

        先安装metadata：
              rpm -ivh yum-metadata-parser-1.1.2-4.el5.x86_64.rpm 
        再同时安装yum和fastestmirror，因为这两个包相互依赖：
              rpm -ivh yum-3.2.22-40.el5.centos.noarch.rpm yum-fastestmirror-1.1.16-21.el5.centos.noarch.rpm 
        如果类似以下显示就说明安装成功了。
       
        


        如果安装过程中提示
        warning: python-iniparse-0.2.3-6.el5.noarch.rpm: Header V3 DSA signature: NO，
        请安装python-iniparse-0.2.3-6.el5.noarch.rpm，如果安装后还是异常报错，就可能是需要删除原来的yum源，执行本文的第二项，再重新安装。
　　        如果安装过程出现提示安装警告，没有KEY文件，请先执行第八项，先下载更新效验文件：
　　        [iyunv@hadoop3 opt]# rpm -ivh yum-metadata-parser-1.1.2-4.el5.x86_64.rpm 
　　            warning: yum-metadata-parser-1.1.2-4.el5.x86_64.rpm: Header V3 DSA signature: NOKEY, key ID e8562897
        
五、 . 清理、更新yum
     安装结束就可以进行清理和更新，
     清理命令：
     yum clean all
    更新缓存命令：
    yum makecache
 
 
六、. 备份删除原RedHat的repo源文件
    进入/etc/yum.repos.d/ 目录，备份原RedHat的repo文件，(移除目录下所有文件)

   

[iyunv@hadoop2 yum.repos.d]# cd /etc/yum.repos.d/
[iyunv@hadoop2 yum.repos.d]# ls
rhel-debuginfo.repo  rhel-source.repo
[iyunv@hadoop2 yum.repos.d]# mv /etc/yum.repos.d/*.repo /home/back
[iyunv@hadoop2 yum.repos.d]# ls
[iyunv@hadoop2 yum.repos.d]#


七、. 下载CentOS的repo源文件并修改
  网易repo源（优先考虑）：http://mirrors.163.com/.help/CentOS-Base-163.repo   
  搜狐repo源： http://mirrors.sohu.com/help/CentOS-Base-sohu.repo
    (1)下载源
        如果服务器不能上网，可以手动下载下面的源文件到本机再上传到服务器。如果可以上网，可以直接用以下命令在/etc/yum.repos.d/ 目录获取，
       下载命令：wget http://mirrors.163.com/.help/CentOS-Base-163.repo

    (2)改名
        下载完成后，需要通过命令“mv CentOS-Base-163.repo CentOS-Base.repo”将文件名称改为：CentOS-Base.repo 
    (3) 替换CentOS-Base.repo文件中版本名称（非常重要）
        因为CentOS升级后，都会将源迁移到最高版本中，比如我们用的Redhat5.6，如果不替换，到时就会到CentOS的5.6目录中找，由于最高版本是5.10，所有源都移动到5.10目录了，到时候更新源就会找不到，我也是在这个地方迷糊了很久。
        编辑命令： vim CentOS-Base.repo
        替换命令：按住shift 再按 冒号 ‘：’键，然后一起松开，在冒号后输入

%s/$releasever/5.10/g
        按回车完成。再按住shift 再输入wq，退出编辑模式。
 
    下载命令
      wget http://mirrors.163.com/.help/CentOS-Base-163.repo     
     或者
      wget http://mirrors.sohu.com/help/CentOS-Base-sohu.repo
 
 
  
   
 

 
    替换版本名称
   
 
     备注：如果是CentOS6.x的版本，请删除或者屏蔽addons这个插件的内容。
 
八、. 下载CentOS的效验文件
        如果你的系统是Redhat5.x版本就用RPM-GPG-KEY-CentOS-5 ，
        如果是Redhat6.x就用RPM-GPG-KEY-CentOS-6的
        首先进入效验文件目录：
        cd /etc/pki/rpm-gpg
       然后执行获取命令        
        wget http://mirror.centos.org/centos/RPM-GPG-KEY-CentOS-5

        最后进行更新，通常更新这一步先不做，因为更新数据比较大（本人需要更新800M的内容）
        执行引入:
        rpm --import /etc/pki/rpm-gpg/RPM*
 
        执行更新:
        yum update
      
       
 
常见错误：

     （1）YumRepo Error: All mirror URLs are not using ftp, http or file：
          错误原因：
          1.有可能是防火墙阻碍了出网http请求或是ftp请求，请检查网关防火墙。
              以root用户登录，执行： service iptables stop
        
          2.有可能是dns不对，无法正常解析，换成8.8.4.4 或者 8.8.8.8
             以root用户登录，修改 vim /etc/resolv.conf
            

[iyunv@hadoop1 hadoop-2.2.0]# vim /etc/resolv.conf
nameserver 8.8.4.4
nameserver 8.8.8.8
nameserver 202.106.196.115
 
          3.系统取不到Release号
          以root用户执行：lsb_release -a 命令查看版本信息，如果版本信息不全就会出现问题，请按本文第四项repo文件下载修改的第3小节进行修改
        
        
 
        4. 网络不通
           请ping 一下网络延迟，本人就是网络环境太差才导致错误的