elk系统搭建并收集nginx日志

yinl_li

　　一）简介
　　elk系统是一套目前较为流行的日志收集分析系统，主要由elasticserch,logstash,kibana三部分组成，其中elasticsearch负责数据的存储，logstash负责日志的收集过滤，kibana负责日志的可视化部分。整个工作流程为logstash收集日志，过滤后输出并保存到elasticsearch中，最后用户通过kibana从elasticsearch中读取数据并处理。本文中日志收集引入filebeat收集日志，logstash监听在5000端口并接受filebeat传入的日志。
　　各组件分配如下：
　　192.168.1.17filebeat
　　192.168.1.18elk
　　二）搭建过程
　　1.在官方网站下载安装包
　　https://www.elastic.co/cn/downloads
　　2.因为elk依赖java开发环境，所以首先安装jdk
　　yum install java-1.8.0-openjdk
　　3.安装elk(192.168.1.18主机上)
　　yum install elasticsearch-5.5.2.rpm kibana-5.5.2-x86_64.rpm logstash-5.5.2.rpm
　　4.创建elasticsearch数据存储目录并赋予权限
　　mkdir -p  /data/elasticsearch
　　chown  elasticsearch.elasticsearch /data/elasticsearch
　　5.修改elasticsearch配置文件，更改其中的数据存储路径
　　vim /etc/elasticsearch/elasticsearch.yml
　　path.data: /data/elasticsearch
　　6.启动elasticsearch服务，并查看9200端口是否处于监听状态
　　systemctl start elasticsearch
　　ss  -tnl
　　7.修改kibana配置文件，改变其监听的ip地址
　　vim /etc/kibana/kibana.yml
　　server.host: "0.0.0.0"  （也可更改为192.168.1.17，此处主要是为了方便访问）
　　8.启动kibana服务并查看端口
　　systemctl start kibana
　　ss -tnl
　　9.在/etc/logstash/conf.d/目录中添加logstash配置文件nginx.conf

input {

            beats {

            port => 5000

            type => "logs"

            }

        }

        filter {

          if [type] == "nginx-all" {

          grok {

          match => [ "message","(?:%{IPORHOST:clientip}|-) - %{NOTSPACE:remote_user} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} \"(?:%{IPV4:http_x_forwarded_for}|-)\"" ]

           }

            geoip {

            source => "clientip"

            add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]

            add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}" ]

           }

         mutate {

           convert => [ "[geoip][coordinates]", "float" ]

           convert => [ "response","integer" ]

           convert => [ "bytes","integer" ]

         }

         syslog_pri {}

         date {

               match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]

           }

          }

         }

        output {

             elasticsearch {

                 hosts => ["127.0.0.1:9200"]

                 index => "logstash-nginx-access-%{+YYYY.MM.dd}"

             }

             stdout { codec => rubydebug }

          }

　　input段：表示监听的端口以及类型
　　filter段：
　　grok：日志的匹配，数据结构转换，需要根据日志的具体格式进行匹配，匹配格式可以参考https://grokdebug.herokuapp.com/patterns，匹配结果可以在https://grokdebug.herokuapp.com/中进行验证
　　geoip：获取ip，以便最后显示地理位置，部分系统可能需要安装geoip
　　mutate：数据类型转换
　　date：用日志中的时间对timestamp进行转换，若不做转换，在导入老数据的时候系统会根据当前时间排序
　　output段：输出到elasticsearch中
　　10.启动logstash服务并查看端口
　　systemctl start logstash
　　ss -tnl
　　11.安装filebeat（192.168.1.17）
　　yum install filebeat-5.5.2-x86_64.rpm  （包需要提前下载）
　　12.修改配置文件/etc/filebeat/filebeat.yml
　　filebeat:
　　spool_size: 1024
　　idle_timeout: 5s
　　registry_file: .filebeat
　　config_dir: /etc/filebeat/conf.d
　　output:
　　logstash:
　　hosts:
　　- 192.168.1.18:5000
　　enabled: true
　　shipper: {}
　　logging: {}
　　runoptions: {}
　　其中output中host指向logstash
　　13.创建/etc/filebeat/conf.d/目录。并添加配置文件nginx.yml
　　        filebeat:
　　prospectors:
　　- paths:
　　- /var/log/nginx/access.log
　　encoding: plain
　　fields_under_root: false
　　input_type: log
　　ignore_older: 24h
　　document_type: nginx-all
　　scan_frequency: 10s
　　harvester_buffer_size: 16384
　　tail_files: false
　　force_close_files: false
　　backoff: 1s
　　max_backoff: 1s
　　backoff_factor: 2
　　partial_line_waiting: 5s
　　max_bytes: 10485760
　　其中path指向需要收集的日志文件，type需要与logstash配置文件中对应
　　14.启动filebeat并查看
　　systemctl start filebeat
　　netstat -altp|grep filebeat（与logstash建立了连接）