坑爹的Apache hbase 64位机安装Snappy终于成功了

桀昊j

坑爹的网上copy来copy去，都没有一个执行成功的。还是自己记录下来算了。

Apache hadoop2.2.0 hbase 0.96 ,CentOS release 6.5 (Final)64位

 

1.安装基本tool

yum  install gcc c++, autoconf, automake, libtool, Java 6, JAVA_HOME set, Maven 3,svn

 

 yum Error: Cannot retrieve repository metadata (repomd.xml) for repository: xxxxx

 

sodu vim /etc/yum.repos.d/xxxxx.repo

将项[flexbox]中的enabled=1改为enabled=0
 
解决yum源的问题。
 

2.安装Snappy

  下载snappy

   wget http://snappy.googlecode.com/files/snappy-1.1.1.tar.gz

   然后解压后，执行三步骤：

    ./configure

    make

    sudo make install

    默认安装路径：/usr/local/lib下面

     

  检查安装是否成功

         ls /usr/local/lib/libsn*

 

3.安装hadoop-snappy

    3.1下载hadoop-snappy源码

      svn checkout http://hadoop-snappy.googlecode.com/svn/trunk/ hadoop-snappy

   3.2.安装hadoop-snappy

      cd hadoop-snappy

      mvn package

 

4.hadooo中部署snappy

解压hadoop-snappy-0.0.1-SNAPSHOT.tar.gz文件，会生成hadoop-snappy-0.0.1-SNAPSHOT目录，拷贝这个目录下相关文件到$HADOOP_HOME/lib/native/Linux-amd64-64

cp -r /hadoop-snappy-0.0.1-SNAPSHOT/lib/native/Linux-amd64-64/* $HADOOP_HOME/lib/native/Linux-amd64-64

将target目录下的hadoop-snappy-0.0.1-SNAPSHOT.jar拷贝到$HADOOP_HOME/lib/目录下。

修改三个文件：

hadoop-env.sh，增加内容如下：

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/

修改core-site.xml文件，增加红色字体部分

<property>
<name>io.compression.codecs</name>  

<value>

org.apache.hadoop.io.compress.GzipCodec, 

org.apache.hadoop.io.compress.DefaultCodec,  

org.apache.hadoop.io.compress.BZip2Codec, 

com.hadoop.compression.lzo.LzoCodec, 

com.hadoop.compression.lzo.LzopCodec, 

org.apache.hadoop.io.compress.SnappyCodec 

</value>

</property>

 

5.往HBase中使用压缩方式

　　当hadoop的snappy配置成功后，配置hbase就很简单了，两个步骤：
　　第一步骤复制相关jar包
　　cp -r $HADOOP_HOME/lib/native/Linux-amd64-64/* $HBASE_HOME/lib/native/Linux-amd64-64/*
　　这里需要注意下，有些版本在安装过程中，没有这个Linux-amd64-64这个目录，需要手工创建下。
　　第二步骤配置hbase-env.sh环境变量
　　export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/
　　 
　　export HBASE_LIBRARY_PATH=$HBASE_LIBRARY_PATH:$HBASE_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/
　　6、重启Hadoop、HBase 检查安装是否成功
cd $HBASE_HOME/bin
./hbase org.apache.hadoop.hbase.util.CompressionTest /tmp/testfile snappy
结果：Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
 
坑爹的Apache官网提供的是32位编译的，在64位服务器上会有问题。官方竟然没有提供64位版本，要使用得自己编译。
 
7.编译hadoop2.2.0
 
　　7.1 yum install cmake zlib1g-dev pkg-config libssl-dev
　　7.2 安装protobuf-2.5.0
很多博客的protobuf的安装都是shit.不知道他们实践过没有，老是copy来copy去。
下载protobuf-2.5.0.tar.gz，解压。
 
sudo vim /etc/profile

#protobuf 

export PROTOC_HOME=/opt/protobuf-2.5.0

 

export PATH=$PATH:$PROTOC_HOME/src

　　source /etc/profile
$protoc --version
libprotoc.2.5.0
ok就这样。根本不需要什么configure --prefix,make,make install这么麻烦，也不成功。
 
7.3 下载hadoop2.2.0源码
 

• Download Hadoop sources.
  

　　Patch sources:
　　cd hadoop-2.2.0-src
　　wget https://issues.apache.org/jira/secure/attachment/12614482/HADOOP-10110.patch
　　patch -p0 < HADOOP-10110.patch
 
　　maven国外服务器可能连不上，maven配置一下国内镜像，在maven目录下，conf/settings.xml,在<mirrors></mirros>里添加，原本的不要动
　　<mirror>  
　　     <id>nexus-osc</id>  
　　      <mirrorOf>*</mirrorOf>  
　　  <name>Nexusosc</name>  
　　  <url>http://maven.oschina.net/content/groups/public/</url>  
　　 </mirror>  
　　 同样，在<profiles></profiles>内新添加
　　<profile>  
　　       <id>jdk-1.7</id>  
　　       <activation>  
　　         <jdk>1.4</jdk>  
　　       </activation>  
　　       <repositories>  
　　         <repository>  
　　           <id>nexus</id>  
　　           <name>local private nexus</name>  
　　           <url>http://maven.oschina.net/content/groups/public/</url>  
　　           <releases>  
　　             <enabled>true</enabled>  
　　           </releases>  
　　           <snapshots>  
　　             <enabled>false</enabled>  
　　           </snapshots>  
　　         </repository>  
　　       </repositories>  
　　       <pluginRepositories>  
　　         <pluginRepository>  
　　           <id>nexus</id>  
　　          <name>local private nexus</name>  
　　           <url>http://maven.oschina.net/content/groups/public/</url>  
　　           <releases>  
　　             <enabled>true</enabled>  
　　           </releases>  
　　           <snapshots>  
　　             <enabled>false</enabled>  
　　           </snapshots>  
　　         </pluginRepository>  
　　       </pluginRepositories>  
　　     </profile>  
　　7.4 编译mvn package -Pdist,native -DskipTests -Dtar -rf :hadoop-common
　　编译完成了后，cd hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0
　　file 一下native下面的so文件
　　将 native/*再cp 到$hadoop_home/bin的各个data node的native/* 和native/Linux-amd64-64下。
　　重新运行测试，结果
Exception in thread "main" java.lang.RuntimeException:native snappy library not available: this version of libhadoop was built without snappy support.
 
7.5 mvn package -Pdist,native -DskipTests -Dtar -rf :hadoop-common -Drequire.snappy -X
重新编译，再scp一把 native/*下面的一切
 
再运行测试OK.
hbase(main):003:0> describe 'mytable'
DESCRIPTION                                                                                                                          ENABLED                                                                  
 'mytable', {NAME => 'colfam', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0', VERSIONS => '1', COMPR true                                                                     
 ESSION => 'LZO', MIN_VERSIONS => '0', TTL => '2147483647', KEEP_DELETED_CELLS => 'false', BLOCKSIZE => '65536', IN_MEMORY => 'false                                                                          
 ', BLOCKCACHE => 'true'}                                                                                                                                                                                     
1 row(s) in 0.0600 seconds
 
hbase(main):004:0> create 'mytable2', {NAME=>'colfam', COMPRESSION=>'snappy'}
0 row(s) in 0.4430 seconds
 
=> Hbase::Table - mytable2
hbase(main):005:0> describe 'mytable2'
DESCRIPTION                                                                                                                          ENABLED                                                                  
 'mytable2', {NAME => 'colfam', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0', VERSIONS => '1', COMP true                                                                     
 RESSION => 'SNAPPY', MIN_VERSIONS => '0', TTL => '2147483647', KEEP_DELETED_CELLS => 'false', BLOCKSIZE => '65536', IN_MEMORY => 'f                                                                          
 alse', BLOCKCACHE => 'true'}                                                                                                                                                                                 
1 row(s) in 0.0550 seconds