ELK收集网络设备日志

生活如麻

　　最近部署了ELK,将自己在部署过程中参考的文章总结一下
　　ELK版本：elasticsearch-5.2.2 kibana-5.2.2   logstash-2.4.1 all plugins
　　部署环境为单台服务器，未配置集群
　　一、官网下载地址：https://www.elastic.co/downloads
　　二、elasticsearch安装
　　1、由于安装ELK需要jdk,因此没有jdk的，先安装1.8版本以上
　　[root@ELK-1 ~]# rpm -ivh jdk-8u121-linux-x64.rpm
　　2 、下载并安装Elasticsearch
　　[root@ELK-1 ~]# rpm -ivh elasticsearch-5.2.2.rpm
　　3、 编辑配置文件,主要修改以下几项
　　[root@ELK-1 ~]# vi /etc/elasticsearch/elasticsearch.yml
　　path.data: /data/elasticsearch     #日志存储目录
　　path.logs: /data/elasticsearch/log #elasticsearch启动日志路径
　　network.host: 10.10.10.1        #这里是主机IP
　　http.port: 9200           #api接口url
　　bootstrap.memory_lock: false          #不锁定内存
　　bootstrap.system_call_filter: false    #需自行添加
　　4、 创建配置文件夹后启动
　　

[root@ELK-1 ~]# mkdir -pv /data/elasticsearch/log　　

　　5、修改文件夹所属用户
　　[root@ELK-1 ~]# grep elas /etc/passwd    #查看安装elasticsearch时自动创建     的用户
　　[root@ELK-1 ~]# chown -R elasticsearch.  /data/     #elasticsearch需使用该用户启动否则会报错
　　6、修改内容参数，否则会报错
　　[root@ELK-1 ~]# vim /etc/security/limits.conf     # 在该文件最后的几行，修改配置如下：

• soft    core    unlimited
  
• hard    core    unlimited
  
• soft    nofile  65536
  
• hard    nofile  131072
  
• soft    nproc   2048
  
• 　　hard    nproc   4096
  　　[root@ELK-1 ~]# vim /etc/sysctl.conf     # 在最下面添加如下内容：
  　　vm.max_map_count=655360
  　　[root@ELK-1 ~]#  vi /etc/security/limits.d/90-nproc.conf
  　　找到如下内容：
  
  
  
  • soft nproc 1024　　修改为
    
    
  • 　　soft nproc 2048
    　　[root@ELK-1 ~]# sysctl -p
    　　7、启动elasticsearch
    　　[root@ELK-1 ~]# service elasticsearch start
    　　三、Kibana安装
    　　1、下载并安装Kibana
    
    
  　　[root@ELK-1 ~]# rpm -ivh kibana-5.2.2-x86_64.rpm
  　　2、编辑配置文件,主要修改如下
  　　[root@ELK-1 ~]# vi /opt/kibana/config/kibana.yml
  　　server.port: 5601
  　　server.host: "10.10.10.10"
  　　elasticsearch.url: "http://10.10.10.10:9200"
  　　kibana.index: ".kibana“
  　　3、 启动并检查是否安装成功
  　　[root@ELK-1 ~]# service kibana start
  　　[root@ELK-1 ~]# netstat -ntlp|grep 5601      #检查5601是否监听
  　　四、Logstash安装
  　　1、下载并安装Logstash
  　　[root@ELK-1 ~]# rpm -ivh logstash-2.4.1.noarch.rpm
  　　#默认安装位置：/opt/logstash
  　　2、创建配置文件
  　　#配置文件位置：/etc/logstash/conf.d
  　　syslog的logstash配置如下：
  　　[root@ELK-1 ~]# cd /etc/logstash/conf.d
  　　[root@ELK-1 ~]# vi syslog.conf
  　　添加如下内容：
  　　input {
  　　syslog {
  　　port => "514"
  　　}
  　　}
  　　output {
  　　elasticsearch {
  　　hosts => ["10.10.10.10:9200"]
  　　index => "logstash_syslog-%{+YYYY.MM.dd}"
  　　}
  　　}
  　　3、启动logstash
  　　[root@ELK-1 ~]# service rsyslog stop     #关掉系统原本的syslog服务，不然会占用514端口
  　　[root@ELK-1 ~]# nohup /opt/logstash/bin/logstash -f syslog.conf
  　　#最后去kibana上的Management上添加一个index pattern名为logstashsyslog就能 使用啦
  　　五、kibana web管理界面配置
  　　1、打开http://10.10.10.10:5601/
  
  
  
  　　2、可以开始使用了
  
  
  

　　参考文章：
　　https://jeffrycheng.com/2017/03/15/%E9%80%9A%E8%BF%87elk%E6%90%AD%E5%BB%BAsyslog%E5%92%8Csflow%E6%94%B6%E9%9B%86%E4%B8%8E%E5%88%86%E6%9E%90/
　　https://segmentfault.com/a/1190000007728789
　　http://www.cnblogs.com/liaojiafa/p/6139752.html
　　http://blog.运维网.com/tryingstuff/1888978