CDH安装Hadoop

lx86

　　一.安装CDH-manager
　　1.关闭selinux
　　修改/etc/selinux/config 文件
　　将SELINUX=enforcing改为SELINUX=disabled


重启机器即可



2.修改bin文件的运行权限，运行bin文件后，进入安装cdh-manager的安装界面



如果直接安装，cdh-manager会去archive.cloudera.com下载安装包，这样会很慢，所以最好在内网搭一个下载源，做个host

echo '192.168.8.XX archive.cloudera.com' >> /etc/hosts

每一步安装的日志会保存在  /var/log/cloudera-manager-installer/目录



3.设置全部机器的hostname，并关闭iptable  /etc/init.d/iptables stop

我的集群情况




192.168.15.115  nn.hadoop.com
192.168.15.99 dn1.hadoop.com
192.168.15.162 dn2.hadoop.com
　　


3.安装成功后，就在浏览器输入http://192.168.15.115:7180/,账号密码都是admin，

然后输入这三台机的ip



搜索结果



选择安装包





这里如果选择Parcel包安装，会卡在下载Parcel的步骤，不知道为什么，可能还是因为网络原因，需要去官网下载parcel包，这肯定会很慢

进入安装界面



在这一步一般会遇到比较多问题：

1.显示 获取XXX资源error，主要原因是访问cdh的官网会比较慢，而且下载的包一般都比较大，一共要下载2G左右，所以如果没有内部的源来下载，去官网下载的话，失败的几率很大

2.报错：


安装失败。 无法接收 Agent 发出的检测信号。
请确保主机的名称已正确配置。
请确保端口 7182 可在 Cloudera Manager Server 上访问（检查防火墙规则）。
请确保正在添加的主机上的端口 9000 和 9001 空闲。
检查正在添加的主机上 /var/log/cloudera-scm-agent/ 中的代理日志（某些日志可在安装详细信息中找到）。
　　原因是/etc/hosts 里面配置的ip hosts设置错误，ip和host不对应
　　3.yum安装某个包的时候失败，报由于XXX包依赖于XXX包导致安装失败的错误，最后我把所有虚拟机都还原，重新安装cdh了~~~~~
　　安装完成后，选择启动所有的服务

　　添加所有服务
　　后面连接Report Manager时数据库的时候可能会报错Unknown host ':7432'. Unable to find it from host.
　　解决方法：



用netstat查看 7432端口状态 如果监听的主键为localhost 就修改
/var/lib/cloudera-scm-server-db/data/ 里面的postgres.conf，的listen_address为'*'，然后/etc/init.d/cloudera-scm-server-db.sh restart重启
页面上数据库主机名称那一栏加上域名，例如nn.hadoop.com:7432
　　启动服务时如果


卡住了hive的启动，报错'Hive Metastore Database Host' is required when using database type 'postgresql'

需要在cdh的页面里面修改hive的配置，把Metastore的主机名改成是nn.hadoop.com



如果重启机器，需要手动启动cdh-agent

/etc/init.d/cloudera-scm-agent start



如果报时钟偏差，启动所有机器的ntpd服务

/etc/init.d/ntpd start　　
　　
　　搭建内部源：
　　用 wget -c -r -np -k -L -p http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.0.0/
　　把所有文件下载下来，然后用nginx做一个静态资源服务器