ELK系统分析Nginx日志并对数据进行可视化展示
一、写在前面默认使用rpm包安装好了E、L、K、3个软件即可。当然了，还有必需的java环境JDK，本文基于elk5.20单独监控nginx 日志分析再进行可视化图形展示，并在用户前端使用nginx 来代理kibana的请求响应，访问权限方面暂时使用HTTP 基本认证加密用户登录(elk5.2中的x-path可以试用等有时间在去测试)
先插入一张线上的测试图：
nginx日志文件其中一行：
119.122.96.163 - - "GET / HTTP/1.1" 200 612 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:36.0) Gecko/20100101 Firefox/36.0"
nginx 服务器日志的log_format格式：
log_formatmain'"$http_x_forwarded_for" - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent"';
线上前端使用的中nginx代理
$http_x_forwarded_for 地址才是客户真正地址二、配置logstash
1.修改配置文件，/etc/logstash/conf.d下。创建nginx.conf配置文件，内容如下:
# cat nginx.conf
input {
file {
path => "/usr/local/nginx/logs/access.log"
start_position => "beginning"
ignore_older => 0
}
}
filter {
grok {
match => { "message" => "%{NGINXACCESS}" }
patterns_dir => ["/etc/logstash/patterns"]
}
geoip {
source => "http_x_forwarded_for"
# source => "clientip"
target => "geoip"
database => "/etc/logstash/GeoLiteCity.dat"
add_field => [ "", "%{}" ]
add_field => [ "", "%{}" ]
}
mutate {
convert => [ "", "float" ]
convert => [ "response","integer" ]
convert => [ "bytes","integer" ]
replace => { "type" => "nginx_access" }
remove_field => "message"
}
date {
match => [ "timestamp","dd/MMM/yyyy:HH:mm:ss Z"]
}
mutate {
remove_field => "timestamp"
}
}
output {
elasticsearch { hosts => ["127.0.0.1:9200"] index => "logstash-nginx-access-%{+YYYY.MM.dd}" #要以logstash开头 } stdout {codec => rubydebug}}
input段：
file：使用file 作为输入源
path： 日志的路径，支持/var/log*.log，及[ "/var/log/messages", "/var/log/*.log" ] 格式
start_position: 从文件的开始读取事件。另外还有end参数
ignore_older: 忽略早于24小时（默认值86400）的日志，设为0，即关闭该功能，以防止文件中的事件由于是早期的被logstash所忽略。
filter段：
grok：数据结构化转换工具
match：匹配条件格式，将nginx日志作为message变量，并应用grok条件NGINXACCESS进行转换
geoip：该过滤器从geoip中匹配ip字段，显示该ip的地理位置
source：ip来源字段，这里我们选择的是日志文件中的最后一个字段，如果你的是默认的nginx日志，选择第一个字段即可(注：这里写的字段是/opt/logstash/patterns/nginx 里面定义转换后的)
target：指定插入的logstash字断目标存储为geoip
database：geoip数据库的存放路径
add_field:增加的字段，坐标经度
add_field:增加的字段，坐标纬度
mutate： 数据的修改、删除、类型转换
convert：将坐标转为float类型
convert：http的响应代码字段转换成 int
convert：http的传输字节转换成int
replace：替换一个字段
remove_field： 移除message 的内容，因为数据已经过滤了一份，这里不必在用到该字段了。不然会相当于存两份
date: 时间处理，该插件很实用，主要是用你日志文件中事件的事件来对timestamp进行转换，导入老的数据必备！
match：匹配到timestamp字段后，修改格式为dd/MMM/yyyy:HH:mm:ss Z
mutate：数据修改
remove_field： 移除timestamp字段。
output段：
elasticsearch：输出到elasticsearch中
2.创建logstash配置文件之后，我们还要去建立grok使用的表达式，因为logstash 的配置文件里定义的使用转换格式语法，先去logstash的安装目录，默认安装位置：/etc/logstash/patterns下，在该位置创建一个目录patterns:
#mkdir /etc/logstash/patterns
在该目录下创建格式文件，内容如下：
# cat /etc/logstash/patterns/nginx
NGUSERNAME +NGUSER %{NGUSERNAME}NGINXACCESS \"%{IPV4:http_x_forwarded_for}\" - %{NOTSPACE:remote_user} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent}注意格式和空格
3.然后就是logstash中配置的GeoIP的数据库解析ip了，这里是用了开源的ip数据源，用来分析客户端的ip归属地。官网在这里:MAXMIND
先把库下载到本地
# wget http://geolite.maxmind.com/download/geoip/database/GeoLite2-City.mmdb.gz
然后解压到当前路径，并移到配置的路径下并改成配置中的名字
# gzip -d GeoLite2-City.mmdb.gz
# mv GeoLite2-City.mmdb GeoLiteCity.dat
启动logstash
#/etc/init.d/logstash start
三、配置Elasticsearch
主要修改数据存放路径的权限
#chown elasticsearch. /var/lib/elasticsearch -R
启动elasticsearch
#/etc/init.d/elasticsearch start
我们在去看下es里的索引，应该已经在倒入数据了
# curl 'localhost:9200/_cat/indices?v'
health status index pri rep docs.count docs.deleted store.size pri.store.sizeyellow open .kibana 1 1 1 0 3.1kb 3.1kbyellow open logstash-nginx-access-2017.02.24 5 1 1170 0 1.9mb 1.9mb
四、安装nginx 配置kibana代理
略过
访问一下网站输入之前之前建立的用户和密码，正常的访问kibana界面即可，如下图：
添加一个索引，这个索引名字就是我们之前在logstash配置文件中导入es中的那个，本文中是logstash-nginx-access-*,如下图：
查看索引，目前自由一个，设置为加星，即是discover默认突出显示的。
然后我们点击Discover，即可看到我们倒入的数据了。如下图：
最后就是之前上传dashboard图
五、小结
ELK优势：
[*]针对网络攻击事件时，方便运维人员查找溯源。
[*]日志集中收集存储，方便后续分析
[*]优化业务、系统时，做到有据可依
页:
[1]