日志监控及检索:logstash+elasticsearch+kibana

saundy

　　一、简介
　　1、logstash：日志、事件管理工具，可以收集、分析(过滤)、存储
　　它有两种运行模式：
　　standalone:所有的都部署在同一台服务器上
　　centralized:多服务器模式
　　2、elasticsearch：开源搜索引擎，用来日志检索
　　3、kibana:可视化日志和数据系统，作为elasticsearch的web前端
　　二、部署
　　1、安装redis
　　2、安装jdk
　　3、安装elasticsearch

cd /opt
wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.1.1.tar.gz
tar -zxvf elasticsearch-1.1.1.tar.gz
elasticsearch-1.1.1/bin/elasticsearch -f
　　4、安装logstash

wget https://download.elasticsearch.org/logstash/logstash/logstash-1.4.1.tar.gz
tar -zxvf [size=1em]logstash-1.4.1.tar.gz
　　a、  创建配置文件agent.conf（用与解析日志文件并存储到redis中)

input {
file  {
type => "linux-syslog"
path => [ "/opt/pomelo.log" ]
}
}
output {
redis {
host => "192.168.1.238"
data_type =>"list"
key => "logstash"
}
}

　　启动logstash(agent.conf)

logstash-1.4.1/bin/logstash agent -f agent.conf
　　b、创建index.conf(用于从redis提取数据输出到elasticsearch)

input {
redis {
host => '127.0.0.1'
data_type => 'list'
port => '6379'
key => 'logstash'
type => 'redis-input'
}
}
output {
elasticsearch_http {
host => '192.168.1.238'
port => '9200'
}
}

　　启动logstash(index.conf)

logstash-1.4.1/bin/logstash agent -f index.conf
　　 
　　5、安装nginx或者apache
　　6、安装[size=1em]kibana

wget https://download.elasticsearch.org/kibana/kibana/kibana-3.1.0.tar.gz
tar -zxvf kibana-3.1.0.tar.gz
cd kibana
mv * /usr/local/nginx/html
　　 7、启动nginx

/usr/local/nginx/nginx
　　 

　　8、访问192.168.1.238
　　9、测试
　　向日志文件输入内容

echo "tang yu" >> pomelo.log
　　 然后在web上检索一下