CentOS5.5下scribe写入数据到HDFS配置方法

wxyfj

　　1按照CentOS 5.5 下配置Hadoop 0.21单节点 一文中的方法配置Hadoop
　　2编译scribe，支持hdfs
　　2.1下载thrift,libevent,boost等库，可以都下载最新版本，基本上都是make & make install
　　2.2下载最新版scribe-2.2，之前在网上看到说scribe有很多bug，必须在当前开发版本才能写入HDFS，试了好久没成功，也以为确实是代码的问题，现在发现不是这个问题，直接下载 该版本
　　2.3在scribe源码包里面bootstrap.sh，按照文档上的说法是可以一步到位的即：./configure --with-hadooppath=/usr/local/hadoop --enable-hdfs CPPFLAGS="-I/usr/local/java/include -I/usr/local/java/include/linux" LDFLAGS="-ljvm -lhdfs"，但是我的机器上面这样不行，因此直接./configure --enable-hdfs，然后修改相应的Makefile(src目录下面的)，将以下字段修改如下：
　　CPPFLAGS = -I/usr/local/lib/jdk1.6.0_23/include -I/usr/local/lib/jdk1.6.0_23/include/linux
　　上面的JDK路径以机器上面的实际路径为准。
　　2.4拷贝hadoop-0.21.0/hdfs/src/c++/libhdfs/hdfs.h文件到scribe/src目录下，libhdfs其实就是通过JNI让C/C++调用HDFS接口，在hadoop-0.21.0/hdfs/src/c++/libhdfs目录下面执行如下操作
　　./configure --enable-shared JVM_ARCH=tune=k8 --prefix=`pwd`/nativelib
　　./make install
　　这时会在nativelib/lib下面生成5个文件，将其都拷贝到/usr/local/lib下面，执行ldconfig
　　2.5编译scribe，在scribe/src目录下面执行./make，即可生成scribed文件，
　　2.6按照scribe/examples目录下面的配置文件写个简单的支持HDFS的配置文件simple_hdfs_example.conf：
　　port=1463
　　max_msg_per_second=2000000
　　check_interval=1
　　max_queue_size=100000000
　　num_thrift_server_threads=2
　　# DEFAULT - write all messages to hadoop
　　
　　category=default
　　target_write_size=20480
　　type=file
　　fs_type=hdfs
　　file_path=hdfs://localhost:9000/scribedata
　　create_symlink=no
　　use_hostname_sub_directory=yes
　　base_filename=thisisoverwritten
　　max_size=1000000000
　　rotate_period=100s
　　add_newlines=1
　　
　　
　　category=qt
　　target_write_size=20480
　　type=file
　　fs_type=hdfs
　　file_path=hdfs://localhost:9000/scribedata
　　create_symlink=no
　　use_hostname_sub_directory=yes
　　base_filename=thisisoverwritten
　　max_size=1000000000
　　rotate_period=100s
　　add_newlines=1
　　
　　2.7到处libhdfs库需要使用的jar路径即CLASSPATH，具体需要哪些不太清楚，官方文档上建议将hadoop/lib目录下所有的库的加入，下面是我导出的：

　　export>　　XXX你懂的。
　　2.8可以执行scribe了， ./scribed ../examples/simple_hdfs_example.conf
　　2.9通过发送工具发送日志到scribe，echo "Successful write data to HDFS,I am qiutao" | ./scribe_cat qt
　　3.10在hadoop目录下面执行bin/hadoop dfs -lsr /scribedata即可看到相应的数据生成了。
　　整个过程确实比较繁琐，尤其要注意2.4，一定要在自己机器上面编译libhdfs库，否则会出现一些莫名其妙的问题，基本上都是抛出的java异常，在这个上面吃了不少亏，终于在自己机器上面写入HDFS了，一步步的也学到了不少东西，留作以后备用。