Hadoop的本地库（Native Libraries）介绍

sfyhip

　　Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（Native Libraries）的概念，通过本地库，Hadoop可以更加高效地执行某一些操作。
　　目前在Hadoop中，本地库应用在文件的压缩上面：

• zlib
  
• gzip
  

　　在使用这两种压缩方式的时候，Hadoop默认会从$HADOOP_HOME/lib/native/Linux-*目录中加载本地库。
　　如果加载成功，输出为：
　　DEBUG util.NativeCodeLoader - Trying to load the custom-built native-hadoop library...
INFO util.NativeCodeLoader - Loaded the native-hadoop library  
　　如果加载失败，输出为：
　　INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
　　在Hadoop的配置文件core-site.xml中可以设置是否使用本地库：
　　
  hadoop.native.lib
  true
  Should native hadoop libraries, if present, be used.

　　Hadoop默认的配置为启用本地库。
　　另外，可以在环境变量中设置使用本地库的位置：
　　export JAVA_LIBRARY_PATH=/path/to/hadoop-native-libs
　　有的时候也会发现Hadoop自带的本地库无法使用，这种情况下就需要自己去编译本地库了。在$HADOOP_HOME目录下，使用如下命令即可：
　　ant compile-native
　　编译完成后，可以在$HADOOP_HOME/build/native目录下找到相应的文件，然后指定文件的路径或者移动编译好的文件到默认目录下即可。
　　
　　更多关于Hadoop的文章，可以参考：http://www.iyunv.com/gpcuster/tag/Hadoop/