elk系统搭建并收集nginx日志-主要步骤

5645re

                      一）简介
    elk系统是一套目前较为流行的日志收集分析系统，主要由elasticserch,logstash,kibana三部分组成，其中elasticsearch负责数据的存储，logstash负责日志的收集过滤，kibana负责日志的可视化部分。整个工作流程为logstash收集日志，过滤后输出并保存到elasticsearch中，最后用户通过kibana从elasticsearch中读取数据并处理。本文中日志收集引入filebeat收集日志，logstash监听在5000端口并接受filebeat传入的日志。

各组件分配如下：

192.168.1.17filebeat
192.168.1.18elk

二）搭建过程
    1.在官方网站下载安装包
https://www.elastic.co/cn/downloads
    2.因为elk依赖java开发环境，所以首先安装jdk
yum install java-1.8.0-openjdk
    3.安装elk(192.168.1.18主机上)
yum install elasticsearch-5.5.2.rpm kibana-5.5.2-x86_64.rpm logstash-5.5.2.rpm
    4.创建elasticsearch数据存储目录并赋予权限
mkdir -p  /data/elasticsearch
chown  elasticsearch.elasticsearch /data/elasticsearch
    5.修改elasticsearch配置文件，更改其中的数据存储路径
vim /etc/elasticsearch/elasticsearch.yml
path.data: /data/elasticsearch
    6.启动elasticsearch服务，并查看9200端口是否处于监听状态
systemctl start elasticsearch
ss  -tnl
    7.修改kibana配置文件，改变其监听的ip地址
vim /etc/kibana/kibana.yml
server.host: "0.0.0.0"  （也可更改为192.168.1.17，此处主要是为了方便访问）
    8.启动kibana服务并查看端口
systemctl start kibana
ss -tnl
    9.在/etc/logstash/conf.d/目录中添加logstash配置文件nginx.conf

input {

            beats {

            port => 5000

            type => "logs"

            }

        }

        filter {

          if [type] == "nginx-all" {

          grok {

          match => [ "message","(?:%{IPORHOST:clientip}|-) - %{NOTSPACE:remote_user} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} \"(?:%{IPV4:http_x_forwarded_for}|-)\"" ]

           }

            geoip {

            source => "clientip"

            add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]

            add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}" ]

           }

         mutate {

           convert => [ "[geoip][coordinates]", "float" ]

           convert => [ "response","integer" ]

           convert => [ "bytes","integer" ]

         }

         syslog_pri {}

         date {

               match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]

           }

          }

         }

        output {

             elasticsearch {

                 hosts => ["127.0.0.1:9200"]

                 index => "logstash-nginx-access-%{+YYYY.MM.dd}"

             }

             stdout { codec => rubydebug }

          }

        input段：表示监听的端口以及类型
        filter段：
        grok：日志的匹配，数据结构转换，需要根据日志的具体格式进行匹配，匹配格式可以参考https://grokdebug.herokuapp.com/patterns，匹配结果可以在https://grokdebug.herokuapp.com/中进行验证
        geoip：获取ip，以便最后显示地理位置，部分系统可能需要安装geoip
        mutate：数据类型转换
        date：用日志中的时间对timestamp进行转换，若不做转换，在导入老数据的时候系统会根据当前时间排序
        output段：输出到elasticsearch中

    10.启动logstash服务并查看端口
systemctl start logstash
ss -tnl
    11.安装filebeat（192.168.1.17）
yum install filebeat-5.5.2-x86_64.rpm  （包需要提前下载）
    12.修改配置文件/etc/filebeat/filebeat.yml
    filebeat:
        spool_size: 1024
        idle_timeout: 5s
        registry_file: .filebeat
        config_dir: /etc/filebeat/conf.d
    output:
        logstash:
        hosts:
        - 192.168.1.18:5000
        enabled: true
    shipper: {}
    logging: {}
    runoptions: {}

    其中output中host指向logstash

    13.创建/etc/filebeat/conf.d/目录。并添加配置文件nginx.yml
        filebeat:
            prospectors:
                - paths:
                    - /var/log/nginx/access.log
                    encoding: plain
                    fields_under_root: false
                    input_type: log
                    ignore_older: 24h
                    document_type: nginx-all
                    scan_frequency: 10s
                    harvester_buffer_size: 16384
                    tail_files: false
                    force_close_files: false
                    backoff: 1s
                    max_backoff: 1s
                    backoff_factor: 2
                    partial_line_waiting: 5s
                    max_bytes: 10485760

其中path指向需要收集的日志文件，type需要与logstash配置文件中对应

    14.启动filebeat并查看
systemctl start filebeat
netstat -altp|grep filebeat（与logstash建立了连接）

                  

lgpp

66666666