实战 ELK 日志分析、存储、展示

hongblue

ElasticSearch 简介

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

logstash 简介

简单来说logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以让你根据自己的需求在中间加上滤网，Logstash提供里很多功能强大的滤网以满足你的各种应用场景。

kibana 简介

Kibana 是一个开源的分析和可视化平台，旨在与 Elasticsearch 合作。Kibana 提供搜索、查看和与存储在 Elasticsearch 索引中的数据进行交互的功能。开发者或运维人员可以轻松地执行高级数据分析，并在各种图表、表格和地图中可视化数据。

ELK 工作大概流程图 ：

ES ：索引、存储、分析日志       logstash ： 收集日志     kibana ：展示日志

本案环境 ：


角色
主机名
IP地址
软件




节点1
ElasticSearch
192.168.100.129
jdk、elasticsearch 、logstash 、kibana


节点2
node 2
192.168.100.130
jdk、elasticsearch

搭建 ElasticSearch

1.关闭防火墙 ：

systemctl stop firewalld.service
setenforce 0
2.配置 yum 源 ：

vim /etc/yum.repos.d/elasticsearch.repo
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enable=1
3.安装服务 ：

yum install elasticsearch -y      #安装 elassearch 服务
yum install java -y   #安装 java 环境
4.编辑配置文件 ：

vim /etc/elasticsearch/elasticsearch.yml
17行 集群名称
cluster.name: abner
23行 节点名称
node.name: node1   
33行 工作目录
path.data: /data/es-data          #文件不存在
path.logs: /var/log/elasticsearch/
43行 防止交换swap分区
bootstrap.memory_lock: true
54行 监听网络
network.host: 0.0.0.0
58行 端口
http.port: 9200
5.创建工作目录 :

mkdir -p /data/es-data   
chown -R elasticsearch:elasticsearch /data/es-data/    #修改文件属主属组
6.开启服务 ：

systemctl start elasticsearch.service
netstat -ntap | grep 9200
7. elasticsearch 内存限制 ：

less /var/log/elasticsearch/test.log   #查看日志
......
[2018-08-21 16:45:52,015][WARN ][bootstrap                ] These can be adjusted by modifying /etc/security/limits.conf, for example:
# allow user 'elasticsearch' mlockall
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
......
vim /etc/security/limits.conf       #末尾添加 不限制内存
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
systemctl restart elasticsearch.service    #重启服务
8.文件数量限制 ：

ulimit -a         #查看文件限制数量
......
open files                      (-n) 1024
......
vim /etc/security/limits.conf       #末尾添加
* soft nofile 65535        
* hard nofile 65535
#重启服务器生效
测试访问 http://192.168.100.129:9200

两种方法和ES进行交互 ：

第一种  JAVA API ：

[root@localhost ~]# curl -i -XGET 'http://192.168.100.129:9200/_count?pretty' -d '{
> "query": {
>     "match_all": {}
> }
> }'
HTTP/1.1 200 OK
Content-Type: application/json; charset=UTF-8
Content-Length: 95
{
"count" : 0,
"_shards" : {
"total" : 0,
"successful" : 0,
"failed" : 0
}
}
第二种  RESTful API （通过json格式交互）

1.安装插件 ：

[root@localhost ~]# /usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head   #安装 head 插件
-> Installing mobz/elasticsearch-head...
Trying https://github.com/mobz/elasticsearch-head/archive/master.zip ...
Downloading ....................DONE
Verifying https://github.com/mobz/elasticsearch-head/archive/master.zip checksums if available ...
NOTE: Unable to verify checksum for downloaded plugin (unable to find .sha1 or .md5 file to verify)
Installed head into /usr/share/elasticsearch/plugins/head

2.插件安装位置 ：

[root@localhost ~]# ls /usr/share/elasticsearch/plugins/  #插件安装位置 不需要直接删除即可
head
3.测试访问 http://192.168.100.129:9200/_plugin/head/

搭建 ElasticSearch 群集

1.在 ES 节点1服务器修改配置文件 ：

vim /etc/elasticsearch/elasticsearch.yml
69行 自动发现机制
discovery.zen.ping.unicast.hosts: ["127.0.0.1", "192.168.100.130"]
2.安装步骤同上，配置 ES 节点2服务器 ：

vim /etc/elasticsearch/elasticsearch.yml
17行 集群名称
cluster.name: test     #相同
23行 节点名称
node.name: node2  #不同
33行 工作目录
path.data: /data/es-data          #文件不存在
path.logs: /var/log/elasticsearch/
43行 防止交换swap分区
bootstrap.memory_lock: true
54行 监听网络
network.host: 0.0.0.0
58行 端口
http.port: 9200
69行 自动发现机制
discovery.zen.ping.unicast.hosts: ["127.0.0.1", "192.168.100.129"]
3.开启服务 ：

systemctl restart elasticsearch.service   #节点1服务器重启服务、节点2服务器开启服务
4.测试访问 http://192.168.100.129:9200/_plugin/head/ ：

搭建 logstash

1.配置 yum 源 ：

vim /etc/yum.repos.d/logstash.repo
[logstash-2.1]
name=Logstash repository for 2.1.x packages
baseurl=http://packages.elastic.co/logstash/2.1/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enable=1
2.安装 logstash 服务 ：

yum install logstash -y   #默认安装在opt下
3.logstash 收集系统日志 ：

ln -s /opt/logstash/bin/logstash /usr/bin/   #建立软连接
[root@localhost ~]# vim file.conf     #编写配置文件
input {                                  #输入信息
file {
path => "/var/log/messages"     #系统日志位置
type => "system"                #类型
start_position => "beginning"   #友好显示
}
}
output {                                     #输出信息
elasticsearch {                         #输出到 ES
hosts => ["192.168.100.129:9200"]  #ES 服务器
index => "system-%{+YYYY.MM.dd}"   #system 自定义 后面格式固定
}
}
[root@localhost ~]# logstash -f file.conf    #收集信息  
# -f: 指定加载后缀为conf文件的 logstash 配置模板。
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
Settings: Default filter workers: 1
Logstash startup completed
^CSIGINT received. Shutting down the pipeline. {:level=>:warn}   #Ctrl+c
^CSIGINT received. Terminating immediately.. {:level=>:fatal}    #Ctrl+c
4.访问 http://192.168.100.129:9200/_plugin/head/ 查看信息收集 ：

5.收集多服务日志，系统日志和 java 日志 ：

vim  file.conf
input {
file {
path => "/var/log/messages"
type => "system"
start_position => "beginning"
}     
file {
path => "/var/log/elasticsearch/test.log"    #java日志位置
type => "es-error"
start_position => "beginning"
}  
}
output {
if [type] == "system" {      # if 判断语句
elasticsearch {
hosts => ["192.168.100.129:9200"]
index => "system-%{+YYYY.MM.dd}"
}
}
if [type] == "es-error" {
elasticsearch {
hosts => ["192.168.100.129:9200"]
index => "es-error-%{+YYYY.MM.dd}"
}
}
}
[root@localhost ~]# logstash -f file.conf    #收集信息
6.访问 http://192.168.100.129:9200/_plugin/head/ 查看信息收集 ：

7.codec 插件处理堆栈信息 ：

vim multiline.conf
input {
stdin {
codec => multiline {  #codec 插件
pattern => "^\["    #引用正则表达式   
negate => true
what => "previous"
}
}
}
output {
stdout {
codec => "rubydebug"
}
}
[root@localhost ~]# logstash -f multiline.conf
OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
Settings: Default filter workers: 1
Logstash startup completed
[1]
[2]   #一个完整的[]算一个事件
{
"@timestamp" => "2018-08-21T11:56:30.674Z",
"message" => "[1]",
"@version" => "1",
"host" => "localhost.localdomain"
}
[abc
{
"@timestamp" => "2018-08-21T11:56:37.894Z",
"message" => "[2]",
"@version" => "1",
"host" => "localhost.localdomain"
}
de
fg]
[abc123]
{
"@timestamp" => "2018-08-21T11:56:58.147Z",
"message" => "[abc\nde\nfg]",
"@version" => "1",
"tags" => [
[0] "multiline"
],
"host" => "localhost.localdomain"
}

8.重新编辑 file.conf 文件 ：

vim file.conf     #编辑
input {
file {
path => "/var/log/messages"
type => "system"
start_position => "beginning"
}
file {
path => "/var/log/elasticsearch/test.log"
type => "es-error"
start_position => "beginning"
codec => multiline {           #添加codec插件
pattern => "^\["
negate => true
what => "previous"
}
}
}
output {
if [type] == "system" {
elasticsearch {
hosts => ["192.168.100.129:9200"]
index => "system-%{+YYYY.MM.dd}"
}
}
if [type] == "es-error" {
elasticsearch {
hosts => ["192.168.100.129:9200"]
index => "es-error-%{+YYYY.MM.dd}"
}
}
}

搭建 kibana

1.下载软件包 ：

wget https://download.elastic.co/kibana/kibana/kibana-4.3.1-linux-x64.tar.gz
2.修改配置文件 ：

tar zxvf kibana-4.3.1-linux-x64.tar.gz -C /usr/local/
cd /usr/local/
mv kibana-4.3.1-linux-x64/ kibana    #重命名
vim /usr/local/kibana/config/kibana.yml
//2行
server.port: 5601
//5行
server.host: "0.0.0.0"
//12行 ES地址
elasticsearch.url: "http://192.168.175.132:9200"   #从 ES 中拿数据
//20行
kibana.index: ".kibana"
3.启动监控 ：

[root@localhost local]# /usr/local/kibana/bin/kibana
log   [20:17:53.006] [info][status][plugin:kibana] Status changed from uninitialized to green - Ready
log   [20:17:53.028] [info][status][plugin:elasticsearch] Status changed from uninitialized to yellow - Waiting for Elasticsearch
......
4.访问 http://192.168.100.129:5601