设为首页 收藏本站
查看: 1603|回复: 0

[经验分享] graylog 2.3.2 日志系统安装指南

[复制链接]

尚未签到

发表于 2019-1-29 12:43:50 | 显示全部楼层 |阅读模式

  •   Java (>= 8)
  •   MongoDB 3.2
  •   Elasticsearch 2.X
  •   graylog 2.3.2
  •   IP 192.168.0.210
  •   centos 7.x
  •   IP 192.168.0.210 (单机测试)
  结构:mongodb + elasticsearch + graylog + nxlog + collector_sidecar
  mongodb:存储元数据,一般安装好后不用其他设置
  elasticsearch:存储日志
  graylog:web界面,负责接收用户输入数据,展示elasticsearch里的数据
  nxlog ,collector_sidecar:日志收集,传送
  jdk请自行安装,这里不再说明,可在下面地址下载相关版本:
  http://mirror.cnop.net/jdk/
  1.安装mongodb(这里以3.2为例)
  vim  /etc/yum.repos.d/mongodb-org-3.2.repo    #添加yum源
  [mongodb-org-3.2]
  name=MongoDB Repository
  baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.2/x86_64/
  gpgcheck=1
  enabled=1
  gpgkey=https://www.mongodb.org/static/pgp/server-3.2.asc
  
   yum install mongodb-org
  

  添加系统服务及启动                    
                           chkconfig --add mongod
                           systemctl daemon-reload
                           /sbin/chkconfig  mongod on
                           systemctl start mongod.service
                      注意:这里没有进行mongodb的相关配置包括graylog连接
                      的配置,graylog启动时会自行创建相关数据
  2.elasticsearch安装
  rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
  vim /etc/yum.repos.d/elasticsearch.repo #加入以下
  [elasticsearch-2.x]
  name=Elasticsearch repository for 2.x packages
  baseurl=https://packages.elastic.co/elasticsearch/2.x/centos
  gpgcheck=1
  gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
  enabled=1
  yum install -y elasticsearch

  vim  /etc/elasticsearch/elasticsearch.yml
#修改成自己的信息,切记去除注释后的内容前面不要有空格,不然可能会启动失败

  
cluster.name: graylog   
# elasticsearch集群名称,若有多个集群,可根据此属性区分。


  node.name: node-210 #集群节点名称,elasticsearch启动时会自动创建,也可手动配置

  network.host: 192.168.0.210    #设置绑定的ip地址

  http.port: 9200        #设置对外服务的Http端口,默认是9200

  discovery.zen.ping.unicast.hosts: ["192.168.0.210"]     
#设置集群中master集群初始化列表,这个数组里的机器将被自动发现加入集群,多个用逗号隔开                    

  
  添加至系统服务及启动:                     
                           chkconfig --add elasticsearch
                           systemctl daemon-reload
                           systemctl enable elasticsearch.service
                           systemctl restart elasticsearch.service
  3.graylog安装(web界面)
  $ sudo rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-2.3-repository_latest.rpm
#获取最新版本

$ sudo yum install -y graylog-server pwgen
#安装最新版本,pwgen用于密码加密生成

  配置
  vi /etc/graylog/server/server.conf
#配置graylog,修改以下几个地方,其他地方保持默认,也可根据实际情况进行设置


  password_secret =ZOauN2D9OknUXUDJbj4Lebb9zPB0SYfgcLELyo7r3yJK5r6Ep6CFfLco4hPy0tc3QEgYIDUP2RZcXdlCpZm43PvuIIyFuWPS            
  # 对密码进行加盐处理(就是密码加盐也就是密码后面加上很长的一串字符串再进行加密),如 md5(md5(password)+salt)和SHA512(SHA512(password)+salt) 方式这里使用pwgen随机生成密码:pwgen -N 1 -s 96
  root_username = admin #登陆web界面用户名,这里去除前面注释
  root_password_sha2 =8d969eef6ecad3c29a3a629280e686cf0c3f5d5a86aff3ca12020c923adc6c92
#设置登陆web密码,使用 sha256sum进行加密,可使用 echo -n 123456 | sha256sum 命令在系统中生成,这里以123456为例说明。


   DSC0000.gif
  root_timezone = +08:00         #设置时区

  rest_listen_uri = http://192.168.0.210:9000/api/ #地址更改成自己的ip,这里以192.168.0.210为例,用于接受Graylog Collector Sidecar发送的心跳信息,collectors也可以访问次uri

  rest_transport_uri = http://192.168.0.210:9000/api/
  

  web_listen_uri = http://192.168.0.210:9000/       # graylog-web访问地址
  

  elasticsearch_hosts = http://192.168.0.210:9200 #elasticsearch地址,用于接入elasticsearch引擎
  

  
  allow_leading_wildcard_searches = true #模糊通配,建议打开,不过比较消耗内存。
  

  allow_highlighting = true       #(运行查询结果高亮) elasticsearch_shards = 1 (当前只安装了一个elasticsearch)
  

  elasticsearch_cluster_name = graylog     #必须与elasticsearch设置相同
  

  mongodb_uri = mongodb://localhost/graylog              # MongoDB服务器身份验证,使用默认即可,这里不需要像mysql一样导入表,只存储原数据
  

  

  $ sudo systemctl start graylog-server
  $ sudo systemctl enable graylog-server
  添加防火墙:
  firewall-cmd --zone=public --add-port=9000/tcp --permanent
  systemctl restart firewalld.service
  4.Collector端与nxlog的部署
  nxlog:
  yum -y install libdbi #要求为 libdbi >= 0.8.1
  wget http://mirror.cnop.net/nxlog/linux/nxlog-ce-2.9.1716-1_rhel7.x86_64.rpm
  rpm -ivh nxlog-ce-2.9.1716-1_rhel7.x86_64.rpm
  gpasswd -a nxlog root
  chown -R nxlog.nxlog /var/spool/collector-sidecar/nxlog         
  vim /etc/nxlog.conf #注意,本处定义log文件nxlog必须有读权限,不然后面可能查询不到日志信息

  ########################################
  # Modules #
  ########################################
  
  Module xm_gelf
  
  
  Module im_file
  File "/var/log/messages"
  
  
  Module om_udp
  Host 192.168.0.210
  Port 12201
  OutputType GELF
  
  ########################################
  # Routes #
  ########################################
  
  Path in => out
  
  
以上代码这里截个图,以防显示不全:
DSC0001.png

systemctl restart nxlog

  Collector :Graylog Collector Sidecar是一种用于采集日志的轻量级配置管理系统,也称为后端,作为守护进程运行。
  wget http://mirror.cnop.net/Graylog/collector-sidecar/collector-sidecar-0.1.4-1.x86_64.rpm
  或去官方下载最新:
  https://github.com/Graylog2/collector-sidecar/releases
  $ sudo rpm -ivh collector-sidecar-0.1.4-1.x86_64.rpm
  $ sudo graylog-collector-sidecar -service install $ sudo systemctl start collector-sidecar
  vim /etc/graylog/collector-sidecar/collector_sidecar.yml   #根据情况修改
  server_url: http://192.168.0.210:9000/api/
  update_interval: 10
  tls_skip_verify: false
  send_status: true
  list_log_files:
  node_id: graylog-collector-sidecar #多台机器请修改成不同id
  collector_id: file:/etc/graylog/collector-sidecar/collector-id
  cache_path: /var/cache/graylog/collector-sidecar
  log_path: /var/log/graylog/collector-sidecar
  log_rotation_time: 86400
  log_max_age: 604800
  tags:
  - nginx
  backends:
  - name: nxlog
  enabled: true
  binary_path: /usr/bin/nxlog
  configuration_path: /etc/graylog/collector-sidecar/generated/nxlog.conf
  systemctl restart collector-sidecar         
  systemctl enable collector-sidecar
  systemctl restart nxlog
  /sbin/chkconfig nxlog on      
  参考:http://docs.graylog.org/en/2.3/pages/collector_sidecar.html
  5.web访问:
  http://192.168.0.210:9000

DSC0002.png

  
  点击 System ->Collectors
  
   DSC0003.png

  点击 Create configuration
  
   DSC0004.png
  
这里任意输入一个名称,这里以test为例:
  
   DSC0005.png
  点击名称"test",进入配置界面:
  
   DSC0006.png
  
设置output和input相关信息,与nxlog的配置文件相同:

  
   DSC0007.png
  
点击右侧 Create Output ,选择相关Type和名字,ip,端口等信息,

   DSC0008.png
  
  点击右侧 Create Input:
  Type [NXLog] file input
  Path to Logfile /var/log/messages
  
   DSC0009.png
  重启客户端的collector-sidecar:
  systemctl restart collector-sidecar
  设置web接收日志:
  system->inputs->Launch new input

   DSC00010.png
  
  选择主机节点
  设置标题
  设置ip
  设置端口(默认)
  
   DSC00011.png
  
graylog web查看Collectors 是否运行正常:
  http://192.168.0.210:9000/system/collectors

DSC00012.png


  
  可手动 echo 推送一条数据到被监控的日志文件中,最后回到主界面查看日志:
  
   DSC00013.png
  其他常见:
  nxlog日志查看:
  tail -f /var/log/graylog/collector-sidecar/nxlog.log
  错误::
   DSC00014.png
  
  原因,请确定 elasticsearch 是否起来。
  
经上牵扯到代码部分本网页可能部分不能完全显示,请参考附件:
  http://www.cnop.net/uploadfile/2017/1129/20171129044810559.pdf
http://www.cnop.net/uploadfile/2017/1129/20171129050325594.docx
  参考:
  http://docs.graylog.org/en/2.3/
  http://cocojoey.lofter.com/post/1eff2f40_10a6d448
  https://www.cnblogs.com/wsl222000/p/6041835.html
  转载请注明出处:
  http://www.cnop.net/html/2017/graylog_1129/5005.html




运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-669184-1-1.html 上篇帖子: 分布式搜索elasticsearch 索引文档的增删改查 入门 下篇帖子: How to Install Elastic Stack on CentOS 7-Arnold
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表