尝试bigtop

龍子

无意中在cloudera网站上看到的bigtop介绍：
http://www.cloudera.com/blog/2012/04/apache-bigtop-0-3-0-incubating-has-been-released/

Apache Bigtop 0.3.0 (incubating) is now available. This is the first fully integrated, community-driven, 100% Apache Big Data management distribution based on Apache Hadoop 1.0. In addition to a major change in the Hadoop version, all of the Hadoop ecosystem components have been upgraded to the latest stable versions and thoroughly tested:

    Apache Hadoop 1.0.1
    Apache Zookeeper 3.4.3
    Apache HBase 0.92.0
    Apache Hive 0.8.1
    Apache Pig 0.9.2
    Apache Mahout 0.6.1
    Apache Oozie 3.1.3
    Apache Sqoop 1.4.1
    Apache Flume 1.0.0
    Apache Whirr 0.7.0



给我的直观感觉就是，可以用yum来安装hadoop以及相关组件，这些组件之间的依赖有着统一的管理。

按照bitop的教程，尝试了下。
教程：https://cwiki.apache.org/confluence/display/BIGTOP/How+to+install+Hadoop+distribution+from+Bigtop

教程很详细，自己很粗心，所以遇到了好些问题。


这货的hadoop安装路径是/usr/lib/hadoop，
貌似这货不需要设置环境变量HADOOP_HOME。

只需要在/etc/default/hadoop中设置 JAVA_HOME就行。

启动hadoop遇到一个问题读写log相关时报错：Too many levels of symbolic links
后来发现是两个链接文件互相指向，然后陷入死循环了。
lrwxrwxrwx 1 root root 15 Apr 13 16:57 /etc/alternatives/hadoop-log -> /var/log/hadoop
lrwxrwxrwx 1 root         root                 28 Feb  3 18:03 /var/log/hadoop -> /etc/alternatives/hadoop-log

我把/var/log/hadoop链接文件删了，然后新建了一个/var/log/hadoop文件夹，改好权限就可以了。

安装的hadoop默认用伪分布，不过貌似可以用alternatives 工具设置，
具体明天研究吧。

2012年4月14日 21:34:22




通过alternative可以指定使用的配置文件，方法如下：
//查看当前使用的配置文件情况
alternatives --display hadoop-conf  

//指定新的配置文件，优先级大于其他的即可。
alternatives --install /etc/hadoop/conf hadoop-conf /etc/hadoop/conf.vbaby 100




启动jobTracker与taskTracker。
启动jobTacker时，会需要在hdfs上存在mapred账户有读写权限的一个/tmp目录，
这个目录是在core-site.xml里面配置的。
新的hdfs没有，需要手工建立/tmp目录。


然后service hadoop-jobtracker start就行，
当然datanode上用hadoop-tasktracker。

2012年4月15日 22:34:14

tobe continue...