设为首页 收藏本站
查看: 2931|回复: 0

[经验分享] logstash解析haproxy的haproxy.log日志字段

[复制链接]

尚未签到

发表于 2019-1-1 08:14:15 | 显示全部楼层 |阅读模式
  在工作中需要在elk中展示haproxy的日志,用于分析访问客户IP、URI、PV等;
  日志样例:我只取出了2种类型的日志,在logstash解析时同时解析2种日志格式;
Sep  5 10:36:55 localhost haproxy[567197]: 221.238.230.162:49225 [05/Sep/2018:10:36:27.130] SBD-Security SBD-Reglog/shvnginx02 0/0/896 5489 -- 1401/2/2/0/0 0/0
Sep  5 10:36:54 localhost haproxy[567197]: 58.220.76.39:59768 [05/Sep/2018:10:36:54.026] SBD-Nginx imageservers/image01 0/0/0/2/2 200 5126 - - ---- 1353/1351/0/1/0 0/0 {|s06.abc001.cn} "GET /ftp_product_img/cn1100017322EA_1_thb.jpg?t=201709101850 HTTP/1.1"  filebeat先读取haproxy.log的日志,写入redis中:
filebeat.inputs:
- type: log
  paths:
    - /var/log/haproxy/haproxy.log
  tags: ["sbd_haproxy"]
  fields:
    type: sbd_haproxy
  fields_under_root: true
output.redis:
  hosts: ["10.78.1.181"]
  key: "sbd_haproxy"
  type: list  logstash向redis读取数据,解析过滤之后写入elastic中:
input {
    redis {
host => "10.78.1.181"
        port => 6379
        data_type => list
        key => "sbd_haproxy"
    }
}
filter {
    grok {
match => ["message","%{HAPROXYHTTP}","message","%{HAPROXYTCP}"]
    }
    mutate {
remove_field => ["host","captured_response_cookie","haproxy_time","haproxy_month","haproxy_hour","srvconn","backend_queue","retries","termination_state"]
        remove_field => ["haproxy_monthday","syslog_server","time_backend_connect","pid","srv_queue","beat","beconn","client_port","haproxy_milliseconds","@version"]
remove_field => ["haproxy_minute","offset","haproxy_second","actconn","source","program","haproxy_year","feconn","http_version"]
remove_field => ["message","prospector","time_duration","time_queue","syslog_timestamp","captured_request_cookie","prospector"]
    }
    date {
match => ["accept_date","dd/MMM/yyyy:HH:mm:ss.SSS"]
    }
    mutate {
    remove_field => ["accept_date"]
    }
}
output {
    if [type] == "sbd_haproxy" {
        if [tags][0] == "sbd_haproxy" {
    elasticsearch {
            hosts  => ["10.78.1.184:9200","10.78.1.185:9200","10.78.1.188:9200"]
                index  => "%{type}-%{+YYYY.MM.dd}"
            }
    #stdout { codec => rubydebug }
}
    }
}  kibana展示:





运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-658104-1-1.html 上篇帖子: Haproxy的介绍和安装 下篇帖子: haproxy原理与部署
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表