设为首页 收藏本站

运维网

 找回密码
 立即注册
查看: 945|回复: 0

[经验分享] 部署ELK多ElasticSearch集群

[复制链接]
随风飞世

尚未签到
发表于 2019-1-28 09:13:52 | 显示全部楼层 |阅读模式
ELK简介：
　　ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。


  • Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
  • Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
  • Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。
    Filebeat隶属于Beats。
  • 目前Beats包含四种工具：

    • Packetbeat（搜集网络流量数据）
    • Topbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）
    • Filebeat（搜集文件数据）
    • Winlogbeat（搜集 Windows 事件日志数据）


实验环境

192.168.10.157    linux-node1
192.168.10.161    linux-node2
操作步骤

1、linux-node1安装elasticsearch、jdk

rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch           //导入密钥
vim elasticsearch.repo       //配置yum源
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enable=1
yum install elasticsearch -y
yum install java -y  （1.8版本）
java -version        //查看java版本
2、配置elasticsearch

cd /etc/elasticsearch/
vim elasticsearch.yml
cluster.name: xxy         //17行 集群名称
node.name: linux-node1           //23行 节点名称
path.data: /data/es-data          //33行 工作目录
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: true            //43行 防止交换swap分区
network.host: 0.0.0.0          //54行 监听网络
http.port: 9200            //58行 端口
3、创建相关文件夹，开启elasticsearch服务

mkdir -p /data/es-data
chown -R elasticsearch:elasticsearch /data/es-data/         //属主属组设为elasticsearch
systemctl start elasticsearch.service
netstat -ntap | grep 9200


测试
http://192.168.10.157:9200


4、RESTful API （通过json格式交互）

curl -i -XGET 'http://192.168.175.132:9200/_count?pretty' -d '{"query": {"match_all": {}}}'
#显示
HTTP/1.1 200 OK
Content-Type: application/json; charset=UTF-8
Content-Length: 95
{
"count" : 0,
"_shards" : {
"total" : 0,
"successful" : 0,
"failed" : 0
}
}


5、安装elasticsearch-head插件

/usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head                   //安装位置/usr/share/elasticsearch/plugins/head
测试
http://192.168.10.157:9200/_plugin/head/


复合查询
/index-demo/test    POST
{
"user":"xxy",
"mesg":"hello world"
}
提交请求


/index-demo/test/AWVDUuVUPJxKK7V6Dj8E   GET
{}


/index-demo/test/AWVDUuVUPJxKK7V6Dj8E   DELETE
{}


ES集群部署

1、linux-node2上安装ES服务同上
　　修改配置文件

cd /etc/elasticsearch/
vim elasticsearch.yml
cluster.name: xxy         //17行 集群名称
node.name: linux-node2        //23行 节点名称
discovery.zen.ping.unicast.hosts: ["127.0.0.1", "192.168.10.157"]        //69行 自动发现机制
启动elasticsearch
同样在linux-node1中配置
discovery.zen.ping.unicast.hosts: ["127.0.0.1", "192.168.10.161"]       //69行 单播列表自动发现机制


2、测试

http://192.168.10.161:9200/_plugin/head/
会看到主分片和副本分片


安装elasticsearch-kopf插件

/usr/share/elasticsearch/bin/plugin install lmenezes/elasticsearch-kopf
浏览器输入：http://192.168.175.132:9200/_plugin/kopf/#!/cluster




logstash部署
　　Logstash 是一个接收,处理,转发日志的工具。支持系统日志,webserver日志,错误日志,应用日志,总之包括所有可以抛出来的日志类型。在一个典型的使用场景下(ELK):用 Elasticsearch作为后台数据的存储,kibana用来前端的报表展示。Logstash在其过程中担任搬运工的角色,它为数据存储,报表查询和日志解析创建了一个功能强大的管道链。Logstash 提供了多种多样的 input,filters,codecs 和output 组件,让使用者轻松实现强大的功能。

1、安装logstash

rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
cd /etc/yum.repos.d/
vim logstash.repo
[logstash-2.1]
name=Logstash repository for 2.1.x packages
baseurl=http://packages.elastic.co/logstash/2.1/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enable=1
yum install logstash -y
2、定义输入和输出流，类似管道

cd /opt/logstash/
./bin/logstash -e 'input { stdin{} } output { stdout{} }'



3、详细格式显示

cd /opt/logstash/
./bin/logstash -e 'input { stdin{} } output { stdout{ codec => rubydebug } }'


4、写入到elasticsearch中

/opt/logstash/bin/logstash -e 'input { stdin{} } output { elasticsearch { hosts => ["192.168.10.157:9200"] } }'
输入事件
abc123
tom456
123jerry
　　在elasticsearch的web中点击连接查看,点击数据浏览选项卡可以查看到事件的信息


5、写入ES和同时生成文本

/opt/logstash/bin/logstash -e 'input { stdin{} } output { elasticsearch { hosts => ["192.168.10.157:9200"] } stdout { codec => rubydebug } }'


6、创建logstash配置文件写入

vim /etc/logstash/conf.d/01-logstash.conf
input { stdin { } }
output {
elasticsearch { hosts => ["192.168.10.157:9200"] }
stdout { codec => rubydebug }
}
/opt/logstash/bin/logstash -f /etc/logstash/conf.d/01-logstash.conf


7、logstash收集系统日志

ln -s /opt/logstash/bin/logstash /usr/bin/
[root@localhost ~]# vim file.conf
input {
file {
path => "/var/log/messages"
type => "system"
start_position => "beginning"
}
}
output {
elasticsearch {
hosts => ["192.168.10.157:9200"]
index => "system-%{+YYYY.MM.dd}"
}
}
logstash -f /root/file.conf




8、收集java异常日志

vim  file.conf
input {
file {
path => "/var/log/messages"
type => "system"
start_position => "beginning"
}     
file {
path => "/var/log/elasticsearch/xxy.log"
type => "es-error"
start_position => "beginning"
}  
}
output {
if [type] == "system" {
elasticsearch {
hosts => ["192.168.10.157:9200"]
index => "system-%{+YYYY.MM.dd}"
}
}
if [type] == "es-error" {
elasticsearch {
hosts => ["192.168.10.157:9200"]
index => "es-error-%{+YYYY.MM.dd}"
}
}
}
logstash -f /root/file.conf




9、事件优化处理

codec插件处理堆栈信息
//引用正则表达式
vim multiline.conf
input {
stdin {
codec => multiline {
pattern => "^\["
negate => true
what => "previous"
}
}
}
output {
stdout {
codec => "rubydebug"
}
}
logstash -f /root/multiline.conf


输入测试，识别事件
[1]
[2]
[abc]
[abcd
efghi
jklmn]
[3]


#重新定义file.conf
input {
file {
path => "/var/log/messages"
type => "system"
start_position => "beginning"
}     
file {
path => "/var/log/elasticsearch/yun.log"
type => "es-error"
start_position => "beginning"   
codec => multiline {
pattern => "^\["
negate => true
what => "previous"
}
}
}
output {
if [type] == "system" {
elasticsearch {
hosts => ["192.168.10.157:9200"]
index => "system-%{+YYYY.MM.dd}"
}
}
if [type] == "es-error" {
elasticsearch {
hosts => ["192.168.10.157:9200"]
index => "es-error-%{+YYYY.MM.dd}"
}
}
}
//添加多行日志内容进行验证
logstash -f /root/file.conf

概览


kibana部署
　　Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

wget https://download.elastic.co/kibana/kibana/kibana-4.3.1-linux-x64.tar.gz        //下载软件包
tar zxvf kibana-4.3.1-linux-x64.tar.gz -C /opt/
mv kibana-4.3.1-linux-x64/ /usr/local/
mv kibana-4.3.1-linux-x64/ kibana          //重命名
vim /usr/local/kibana/config/kibana.yml            //修改配置文件
server.port: 5601        //2行
server.host: "0.0.0.0"      //5行
elasticsearch.url: "http://192.168.10.157:9200"         //12行 ES地址
kibana.index: ".kibana"         //20行

Screen是一款由GNU计划开发的用于命令行终端切换的自由软件。用户可以通过该软件同时连接多个本地或远程的命令行会话，并在其间自由切换。GNU Screen可以看作是窗口管理器的命令行界面版本。它提供了统一的管理多个会话的界面和相应的功能。


yum install screen -y
/usr/local/kibana/bin/kibana        //启动监听
#ctrl+a+d  进行丢入后台
　　浏览器访问

http://192.168.10.157:5601/









运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表，该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有，请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意，请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息，一经发现立即删除。若您因此触犯法律，一切后果自负，我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集，我们仅提供一个展示、介绍、观摩学习的平台，我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责，亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏，不得用于商业或者其他用途，否则，一切后果均由您自己承担，我们对此不承担任何法律责任
7、如涉及侵犯版权等问题，请您及时通知我们，我们将立即采取措施予以解决
8、联系人Email：admin@iyunv.com 网址：www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址：https://www.yunweiku.com/thread-668517-1-1.html 上篇帖子： Graylog2+ELK日志系统 下篇帖子： ELK实战之Kibana部署及message日志收集
回复

使用道具 举报

返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群，最新一手资源尽在官方微信交流群！快快加入我们吧...

扫描微信二维码查看详情

客服 E-mail:iyunvcom@gmail.com

本站由青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

豫ICP备20007574号-1 Copyright © 2012-2025

关于我们

发展历程

联系我们

关注我们

广告服务

广告案例

隐私条款

免责声明

用户登录

用户注册

版主守则

申请版主

手机版

金币获取

帮助中心

每日签到

Good Good

Study

Day Day

UP


客服E-mail:kefu@iyunv.com 客服QQ：1061981298


QQ群⑦：运维网交流群⑦ QQ群⑧：运维网交流群⑧ k8s群：运维网kubernetes交流群


提醒：禁止发布任何违反国家法律、法规的言论与图片等内容；本站内容均来自个人观点与网络等信息，非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来，其版权均归原作者及其网站所有，我们尊重他人的合法权益，如有内容侵犯您的合法权益，请及时与我们联系进行核实删除！



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表