Hadoop+HBase+PIG 环境搭好了，纪念一下

q987654

　　最早用HDInsight Preview， 安装非常简单直接，基本上是one click搞定。写了几个MapReduce，主要还是用Pig。
　　但因为是Preview 版本的，不支持Cluster，所以就申请了Hadoop on Azure和1.5T的Azure Storage。三个免费的DataNode基本上可以满足我的需求。Pig和Hadoop的集成也是自然而然就好了的，基本上没费我什么功夫。
　　一切都挺好的，直到有一天，我要用HBase。
　　Hadoop on Azure目前还不支持HBase。果断地安装了一台windows server 2012，用Hyper-V装了三台Ubuntu Server，一个namenode，两个datanode。Hadoop当时选择了0.23, 据说是一个稳定版本，安装还算顺利。很快，我的MR就能跑起来了。紧接着装PIG。装完之后发现无法访问hdfs。在网上search，发现PIG没有版本能支持Hadoop 0.23。
　　好吧。重装虚拟机，下载Hadoop 0.20， 再下载PIG。还是不行... 这次是小版本号有问题。好吧，干脆重装虚拟机，还算顺利，load ‘hdfs://namenode:8020/*’ 拿到了data。下一步是Hbase。
　　首先在网上查到了能和Hadoop 0.20和PIG匹配的HBase版本号。下载安装。某个端口没启动。看log，再配置。RegionServer起来了，HMaster没有。再然后，ZooKeeper有问题。再然后....  好吧，终于好了。"hbase shell", ok。 "create 'test' 'cf'"， 也ok。
　　再之后，试着用HBaseStorage 去读HBase的表。各种错误，读log，troubleshooting，设置PIG_CLASSPATH，register jar。全部都试过了。都不行。果断回家睡觉。
　　好吧，我投降了。投了个票去催Azure team支持HBase。然后去Cloudera网站上下了个Cloudera Manager Free 4.5。重装虚拟机，装Cloudera Manager，一切顺利，比起HDInsight，配置稍稍有点复杂，但经过之前的无数折腾，这些配置难不倒我了。到了最后一步，ca，heart beat挂了，死活连不上。
　　看log，troubleshooting，最后，换成了Cloudera Manager Free 4.1.2 就好了。
　　事后总结，开源各版本之间的兼容性还是比较差的。公司做的集成包真的很省事。我不是做operation的料。AWS和Azure真的好贵，但是能不去维护机器，安装，故障，断网实在是省心。