设为首页 收藏本站
查看: 1292|回复: 0

[经验分享] ELK日志平台之Logstash

[复制链接]

尚未签到

发表于 2019-1-28 10:47:40 | 显示全部楼层 |阅读模式
一、ELKStack简介
Elstaicsearch:存储和搜索
logstash:收集
kibana:展示
二、ELK----之Logstash安装
环境准备
IP主机名操作系统
192.168.56.11linux-node1centos7
192.168.56.12linux-node2centos7在两台服务器上都安装logstash
1、JDK安装
安装JDK
[root@linux-node1 ~]# yum install -y java
[root@linux-node1 ~]# java -version
openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)2、LogStash安装
[root@linux-node1 ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
[root@linux-node1 ~]# cat /etc/yum.repos.d/logstash.repo
[logstash-2.3]
name=Logstash repository for 2.3.x packages
baseurl=https://packages.elastic.co/logstash/2.3/centos
gpgcheck=1
gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1三、Logstash配置
1、概念理解
input:  标准输入
output: 标准输出
filter: 过滤2、命令行输出
[root@linux-node1 ~]# /opt/logstash/bin/logstash -e 'input { stdin{} } output { stdout{} }'
Settings: Default pipeline workers: 1
Pipeline main started
hehe
2016-08-20T05:58:42.683Z linux-node1 hehe
world
2016-08-20T05:58:52.057Z linux-node1 world3、以json的形式在命令行输出
在标准输出中添加codec=>rubydebug功能,这样能以json的格式显示出来
[root@linux-node2 ~]# /opt/logstash/bin/logstash -e 'input { stdin{} } output { stdout{ codec => rubydebug } }'
Settings: Default pipeline workers: 1
Pipeline main started
四世同堂
{
       "message" => "四世同堂",
      "@version" => "1",
    "@timestamp" => "2016-08-27T18:37:04.702Z",
          "host" => "linux-node2"
}4、把日志写入到elasticsearch里面
这里我们用到output的插件
hosts是个数组类型,在集群状态下,可以写多个地址
index是一个字符串类型,可以按照年月日生成索引

[root@linux-node2 ~]# /opt/logstash/bin/logstash -e 'input { stdin{} } output { elasticsearch { hosts => ["192.168.56.11:9200"] index => "logstash-%{+YYYY.MM.dd}" } }'
Settings: Default pipeline workers: 1
Pipeline main started
天苍苍,野茫茫
风吹草地见牛羊在es上访问http://192.168.56.11:9200/_plugin/head/ 在数据浏览页面找到当天的logstash日志,
比如logstash-2016.08.30,查看其message信息。

5、把日志输出到不同位置
我们有时候会有这样的需求,即把日志输出到标准输出,又输出到es
[root@linux-node2 ~]# /opt/logstash/bin/logstash -e 'input { stdin{} } output { stdout { codec => rubydebug } elasticsearch { hosts => ["192.168.56.11:9200"] index => "logstash-%{+YYYY.MM.dd}" } }'
Settings: Default pipeline workers: 1
Pipeline main started
菊花残,满地伤
{
       "message" => "菊花残,满地伤",
      "@version" => "1",
    "@timestamp" => "2016-08-30T15:36:22.606Z",
          "host" => "linux-node2"
}
你的笑容已泛黄
{
       "message" => "你的笑容已泛黄",
      "@version" => "1",
    "@timestamp" => "2016-08-30T15:36:31.630Z",
          "host" => "linux-node2"
}在实际生产中,每个需要收集日志的服务器都安装一个logstash
通过网络传输的不需要安装,比如syslog,可以通过网络发送6、编写logstash的输入输出文件
logstash的输入输出文件都存放在
/etc/logstash/conf.d
这是在启动脚本中定义了
PATH=/sbin:/usr/sbin:/bin:/usr/bin
export PATH
if [ `id -u` -ne 0 ]; then
   echo "You need root privileges to run this script"
   exit 1
fi
name=logstash
pidfile="/var/run/$name.pid"
LS_USER=root
LS_GROUP=root
LS_HOME=/var/lib/logstash
LS_HEAP_SIZE="1g"
LS_LOG_DIR=/var/log/logstash
LS_LOG_FILE="${LS_LOG_DIR}/$name.log"
LS_CONF_DIR=/etc/logstash/conf.d
......编写一个demo.conf文件
[root@linux-node2 conf.d]# vim demo.conf
input{
    stdin{}
}
filter{
}
output{
    elasticsearch{
        hosts => ["192.168.56.11:9200"]
        index => "logstash-%{+YYYY.MM.dd}"
    }
    stdout{
        codec => rubydebug
    }
}在终端执行一下,查看结果
[root@linux-node2 conf.d]# /opt/logstash/bin/logstash -f demo.conf
Settings: Default pipeline workers: 1
Pipeline main started
谁的江山
{
       "message" => "谁的江山",
      "@version" => "1",
    "@timestamp" => "2016-08-30T15:59:48.446Z",
          "host" => "linux-node2"
}
马蹄声狂乱
{
       "message" => "马蹄声狂乱",
      "@version" => "1",
    "@timestamp" => "2016-08-30T15:59:59.306Z",
          "host" => "linux-node2"7、收取操作系统日志并写入elasticsearch
需求分析:
将"/var/log/message","/var/log/secure"写入到ES中
自定义一个名为file.conf的文件
[root@linux-node2 /etc/logstash/conf.d]# cat file.conf
input{
    file{
path => ["/var/log/message","/var/log/secure"]
type => "system-log"
start_position => "beginning"    #从文件头开始收取日志
    }
}
filter{}

output{
    elasticsearch{
        hosts => ["192.168.56.11:9200"]
        index => "system-log-%{+YYYY.MM}"
    }
}启动logstash
[root@linux-node2 conf.d]# /opt/logstash/bin/logstash -f file.conf
Settings: Default pipeline workers: 1
Pipeline main started
注意:
注意:
注意:
logstash在后台启动时会加载/etc/logstash/conf.d/目录下的所有conf文件在es上访问http://192.168.56.11:9200/_plugin/head/ 查看syslog-log的日志



  





运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-668610-1-1.html 上篇帖子: 关于elk中,kibana查询超时的问题 下篇帖子: Centos7安装ELK开源日志应用
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表