ELK(ElasticSearch+Logstash+ Kibana)搭建实时日志分析平台
ELK(ElasticSearch+Logstash+ Kibana)搭建实时日志分析平台一、准备工具：(Centos7)
1、Elasticsearch：ElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
2、Logstash：是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索），您可以使用它。说到搜索，logstash带有一个web界面，搜索和展示所有日志。
3、kibana： 是一个为 ElasticSearch 提供日志分析的 Web UI工具,可使用它对日志进行高效的搜索、可视化、分析等各种操作。
二、实验
安装java环境
# yum install -y java-1.8.0-openjdk* 安装ElasticSearch
# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.3.tar.gz
# tar xf elasticsearch-5.6.3.tar.gz
创建普通用户，用于启动ElasticSearch
# useradd elk
# chown -R elk:elkelasticsearch-5.6.3
修改配置文件
# cd/usr/local/src/elasticsearch-5.6.3/config/
# vim elasticsearch.yml
node.name: elk
http.port: 9200
network.host: 10.0.0.128
启动测试：
# su – elk
$ cd elasticsearch-5.6.3/bin/
$ ./elasticsearch ##出错
: max file descriptors forelasticsearch process is too low, increase to at least
: max virtual memory areasvm.max_map_count is too low, increase to at least
##解决方法：
# vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096# vim /etc/sysctl.conf
vm.max_map_count=262144
#重启生效
安装head:方便查看索引，集群等相关状态
创建插件存放目录（目录自定义）
# cd /usr/local/src/
# mkdir head
# cd head/
# yum install -y git
# git clonegit://github.com/mobz/elasticsearch-head.git
正克隆到 'elasticsearch-head'...
remote: Counting objects: 4224, done.
remote: Total 4224 (delta 0), reused 0(delta 0), pack-reused 4224
接收对象中: 100% (4224/4224), 2.15 MiB | 223.00KiB/s, done.
处理 delta 中: 100%(2329/2329), done.
# cd elasticsearch-head/
# yum install-y npm
# npm install
# npm install-g grunt-cli
# grunt server#运行
修改配置文件监听端口为localhost
# vim /usr/local/src/head/elasticsearch-head/Gruntfile.j
server: {
options: {
port: 9100,
hostname: '0.0.0.0',#添加这句
base: '.',
keepalive: true
}
}
修改es配置文件，添加如下：
# vim/usr/local/src/elasticsearch-5.6.3/config/elasticsearch.yml
http.cors.enabled:true
http.cors.allow-origin:"*"
#重启es服务
启动head插件，然后访问web的ip即可
# grunt server
安装logstash
# wget https://artifacts.elastic.co/downloads/logstash/logstash-5.6.3.tar.gz
# tar zx logstash-5.6.3.tar.gz
# cd logstash-5.6.3/bin/
创建导入到elasticsearch的配置文件：
# vim /logstash/nginx.conf
input {
file {
path => "/usr/local/nginx/log/access.log" #输入的数据位置
type => "test"
start_position => "beginning" #从文件开始出读
}
}
filter{
grok {
match => {
"message" => "%{IPORHOST:IP} - %{USER:User} \[%{HTTPDATE:Time}\] \"%{WORD:HTTP_Method} %{NOTSPACE:Request} HTTP/%{NUMBER:HTTP_Version}\" %{NUMBER:Status} (?:%{NUMBER:Bytes}|-) \"(?:%{URI:HTTP_Referer}|-)\" \"%{GREEDYDATA:User_Agent}\""##nginx默认格式
}
}
}
output {
elasticsearch {
action => "index"
hosts=> "10.0.0.128:9200"
index=> "log-%{+yyyy.MM.dd}" ##索引名
}
stdout {
codec => rubydebug
}
}
安装kibana
# wget https://artifacts.elastic.co/downloads/kibana/kibana-5.6.3-x86_64.rpm
# rpm -ivhkibana-5.6.3-x86_64.rpm #配置文件位于： /etc/kibana/kibana.yml
默认链接的是elasticsearch,修改配置文件
# vim /etc/kibana/kibana.yml
server.host:"0.0.0.0"
elasticsearch.url: http://10.0.0.128:9200
启动kibana服务，默认占用5601端口，可通过http://ip:5601访问
# /etc/init.d/kibana start
kibana started
# ps -ef |grep 5601
root 10343 97410 17:18 pts/1 00:00:00 grep --color=auto 5601
启动e l k, head(可查看状态)：
##在启动logstash 可能会报错： OpenJDK64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c5330000,986513408, 0) failed; error='Cannot allocate memory' (errno=12)
解决方法：
# vim/usr/local/src/elasticsearch-5.6.3/config/jvm.options
#修改如下：
-Xms300m
-Xmx300m 导入数据
# cd /usr/local/src/logstash-5.6.3/bin
# ./logstash -f /logstash/nginx.conf
可以查看访问10.0.0.128:9100（head）网页,看是否有数据导入
https://s1.运维网.com/oss/201711/06/ff06ac801a1589717c5ae2a8ea8511c0.png-wh_500x0-wm_3-wmp_4-s_3983611904.png
打开kibana界面，选择定义的索引，并创建
https://s2.运维网.com/oss/201711/06/2cab46e8fab2cd0b984a847f3ef828a6.png-wh_500x0-wm_3-wmp_4-s_785154327.png
添加成功后，会发现有自定义的数据导入
https://s3.运维网.com/oss/201711/06/8a75f7977eacfd044b3dee03f7f80800.png-wh_500x0-wm_3-wmp_4-s_1632978521.png
https://s3.运维网.com/oss/201711/06/00b9a33ecf23ab3347066b6a5026ebd4.png-wh_500x0-wm_3-wmp_4-s_345382230.png
创建一个关于状态码的图形
https://s1.运维网.com/oss/201711/06/52ae7d2af4cb066f090b50d9932ca5fc.png-wh_500x0-wm_3-wmp_4-s_3017004432.png
https://s4.运维网.com/oss/201711/06/32f4c51285e52018f7863f7cb4e56c5b.png-wh_500x0-wm_3-wmp_4-s_2843092166.png
可以匹配多个条件
https://s3.运维网.com/oss/201711/06/fe13f9c30f4e1c7c3c4737b5dc352ca6.png-wh_500x0-wm_3-wmp_4-s_1012245859.png
页:
[1]