使用elasticsearch+simple_flow搭建实时日志搜索系统

woceshiyong8

　　在实际的系统中,我们经常会进行分布式的系统部署,但是这样会导致一个问题,系统日志也被分散开了,导致根据日志进行错误定位不太方便,所以,利用simple_flow实时流的特点,再配合elasticsearch建立索引,搭配构建一个实时日志搜索系统.具体流程图如下:
　　

 
　　具体实现如下:
　　1.启动elasticsearch, 这个参考官方文档 http://www.elasticsearch.org/
　　2.编译安装simple_flow/生成log_index(将日志转化为索引程序)
　　2.1 git clone git@github.com:hongliuliao/simple_flow.git 
　　2.2 make && make example
　　3.执行 ./bin/log_index, 之后可以看到日志向elasticsearch传输,并返还创建成功的结果
　　4.通过RESTful接口查看日志情况,

curl -XGET 'http://localhost:9200/mytest/accesslog/_search?q=log_content:chrome&pretty=true'

　　

 
　　具体代码参考: https://github.com/hongliuliao/simple_flow/blob/master/example/log_index.cpp