设为首页 收藏本站
查看: 1174|回复: 0

[经验分享] elk日志收集

[复制链接]

尚未签到

发表于 2019-1-28 10:02:57 | 显示全部楼层 |阅读模式
  准备环境
防火墙和selinux: 关闭
主机名     elk-node1   elk-node2
主机名解析
192.168.227.128 elk-node1
192.168.227.129 elk-node2
master-slave模式:
master收集到日志后,会把一部分数据碎片到slave上(随机的一部分数据);
同时,master和slave又都会各自做副本,并把副本放到对方机器上,这样就保证了数据不会丢失。
如果master宕机了,那么客户端在日志采集配置中将elasticsearch主机指向改为slave,就可以保证ELK日志的正常采集和web展示。
  ELasticsearch安装
1、下载并安装GPG Key
[root@elk-node1 ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
2、准备yum源
[root@elk-node1 ~]# cd /etc/yum.repos.d
[root@elk-node1  yum.repos.d]# vim elasticsearch.repo
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
3、安装elasticsearch
[root@elk-node1 ~]# yum -y install elasticsearch
4、安装java环境
[root@elk-node1 ~]# yum -y install java
[root@elk-node1 ~]# java -version
openjdk version "1.8.0_102"
OpenJDK Runtime Environment (build 1.8.0_102-b14)
OpenJDK 64-Bit Server VM (build 25.102-b14, mixed mode)
  elk-node1配置:
1、修改配置文件
[root@elk-node1 ~]#  mkdir -p /data/es-data
[root@elk-node1 ~]#  vim /etc/elasticsearch/elasticsearch.yml
cluster.name: wingcluster         #组名 (同一个组,组名必须一致(自己定义))
node.name: elk-node1             #节点名称,建议和主机名一致
path.data:  /data/es-data                            #数据存放位置
path.logs:   /var/log/elasticsearch/  #日志存放位置
bootstrap.mlockall:  true           #锁住内存,不被使用到交换分区去
network.host: 0.0.0.0              #网络设置(0.0.0.0表示监听所有网卡)
http.port: 9200                       #端口
2、启动并查看
[root@elk-node1 ~]#  chown elasticsearch.elasticsearch  /data/
[root@elk-node1 ~]#  systemctl  start  elasticsearch
[root@elk-node1 ~]#  systemctl  status elasticsearch
CGroup: /system.slice/elasticsearch.service
           └─3005 /bin/java -Xms256m -Xmx1g -Djava.awt.headless=true -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSI...
注意:上面可以看出elasticsearch设置的内存最小256m,最大1g
[root@elk-node1 ~]#  netstat  -antlp  |egrep  “9200|9300”
tcp6       0      0 :::9200                 :::*                    LISTEN      3005/java           
tcp6       0      0 :::9300                 :::*                    LISTEN      3005/java
通过web访问测试
http://172.16.113.155:9200/
  通过命令方式测试
# curl -i -XGET 'http://172.16.113.155:9200/_count?pretty' -d '{"query":{"match_all":{}}}'
HTTP/1.1 200 OK
Content-Type: application/json; charset=UTF-8
Content-Length: 95
{
"count" : 0,
"_shards" : {
"total" : 0,
"successful" : 0,
"failed" : 0
}
}
elk-node2配置操作同elk-node1(配置文件稍微不同)
[root@elk-node2 ~]#  vim /etc/elasticsearch/elasticsearch.yml
cluster.name: wingcluster        
node.name: elk-node2
path.data: /data/es-data
path.logs: /var/log/elasticsearch/
bootstrap.mlockall: true
network.host: 0.0.0.0  
http.port: 9200        
discovery.zen.ping.multicast.enabled: false
discovery.zen.ping.unicast.hosts: ["172.16.113.155", "172.16.113.156"]
  安装插件
例如安装head插件
a)插件安装方法一
[root@elk-node1 ~]#  /usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head
[root@elk-node1 ~]#  chown -R elasticsearch:elasticsearch /usr/share/elasticsearch/plugins
[root@elk-node1 ~]#  systemctl restart elasticsearch
b)插件安装方法二在/usr/share/elasticsearch/plugins目录下创建head目录
下载head插件到/usr/local/src/目录下(下载地址https://github.com/mobz/elasticsearch-head),将下载的包解压缩,然后将上面下载的elasticsearch-head-master.zip解压后的文件都移到/usr/share/elasticsearch/plugins/head下,重启elasticsearch服务即可!(具体步骤略)
安装其他插件步骤相同
  logstash安装
  主要安装在客户机上
elk-node1和elk-node2都安装,这里是拿服务器当客户端用
客户端安装logstash,收集到的数据写入到elasticsearch里,就可以登陆logstash界面查看到了
1、下载并安装GPG Key
[root@elk-node1 ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
2、配置yum源
[root@elk-node1 ~]# cd /etc/yum.repos.d/
[root@elk-node1  yum.repos.d]# vim logstash.repo
[logstash-2.1]
name=Logstash repository for 2.1.x packages
baseurl=http://packages.elastic.co/logstash/2.1/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
3、安装并启动logstash
[root@elk-node1 ~]#  yum -y install logstash
[root@elk-node1 ~]#  systemctl  restart elasticsearch
测试
1)基本的输入输出
[root@elk-node1 ~]# /opt/logstash/bin/logstash -e 'input { stdin{} } output { stdout{} }'
Settings: Default filter workers: 1
Logstash startup completed
hello                                                                                     #输入这个
2016-11-11T06:41:07.690Z elk-node1 hello                        #输出这个
wangshibo                                                                            #输入这个
2016-11-11T06:41:10.608Z elk-node1 wangshibo               #输出这个
  [root@elk-node1 yum.repos.d]# /opt/logstash/bin/logstash -e 'input { stdin{} } output { stdout{} }'
Settings: Default filter workers: 2
Logstash startup completed
wing
2018-07-09T07:13:50.851Z elk-node1 wing
你的标准输入是什么,就打印它到标准输出
2018-07-09T07:14:16.819Z elk-node1 你的标准输入是什么,就打印它到标准输出

  kibana安装
  
  kibana安装配置
1)、kibana的安装:
1)kibana的安装:
[root@elk-node1 ~]# cd /usr/local/src
[root@elk-node1 src]# wget https://download.elastic.co/kibana/kibana/kibana-4.3.1-linux-x64.tar.gz
[root@elk-node1 src]# tar zxf kibana-4.3.1-linux-x64.tar.gz
[root@elk-node1 src]# mv kibana-4.3.1-linux-x64 /usr/local/
[root@elk-node1 src]# ln -s /usr/local/kibana-4.3.1-linux-x64/ /usr/local/kibana
2)修改配置文件:
[root@elk-node1 config]# pwd
/usr/local/kibana/config
[root@elk-node1 config]# cp kibana.yml kibana.yml.bak
[root@elk-node1 config]# vim kibana.yml
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://192.168.1.160:9200"
kibana.index: ".kibana"
因为它一直运行在前台,所以我们要么选择重开一个窗口,要么选择使用screen
安装并使用screen
[root@elk-node1 ~]# yum -y install screen
[root@elk-node1 ~]# screen                          #这样就另开启了一个终端窗口
[root@elk-node1 ~]# /usr/local/kibana/bin/kibana
  log   [18:23:19.867] [info][status][plugin:kibana] Status changed from uninitialized to green - Ready
   log   [18:23:19.911] [info][status][plugin:elasticsearch] Status  changed from uninitialized to yellow - Waiting for Elasticsearch
  log   [18:23:19.941] [info][status][plugin:kbn_vislib_vis_types] Status changed from uninitialized to green - Ready
  log   [18:23:19.953] [info][status][plugin:markdown_vis] Status changed from uninitialized to green - Ready
  log   [18:23:19.963] [info][status][plugin:metric_vis] Status changed from uninitialized to green - Ready
  log   [18:23:19.995] [info][status][plugin:spyModes] Status changed from uninitialized to green - Ready
  log   [18:23:20.004] [info][status][plugin:statusPage] Status changed from uninitialized to green - Ready
  log   [18:23:20.010] [info][status][plugin:table_vis] Status changed from uninitialized to green - Ready
  然后按ctrl+a+d组合键,暂时断开screen会话
这样在上面另启的screen屏里启动的kibana服务就一直运行在前台了....
[root@elk-node1 ~]# screen -ls
There is a screen on:
        15041.pts-0.elk-node1   (Detached)
1 Socket in /var/run/screen/S-root.
  
注:screen重新连接会话
    下例显示当前有两个处于detached状态的screen会话,你可以使用screen -r 重新连接上:
    [root@tivf18 root]# screen –ls
    There are screens on:
            8736.pts-1.tivf18       (Detached)
            8462.pts-0.tivf18       (Detached)
    2 Sockets in /root/.screen.
     
    [root@tivf18 root]# screen -r 8736
3)、访问kibana测试    http://192.168.227.128:5601
   

  






运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-668566-1-1.html 上篇帖子: 搭建ELK日志分析平台(下)—— 搭建kibana和logstash服务器 下篇帖子: ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表