简单安装ELK分析日志及使用心得
ELK是由Elasticsearch、Logstash、Kibana三个组件组成的。Elasticsearch：是ELK的核心插件，是一个基于Lucene的搜索服务器，它提供一个分布式多用户能力的全文搜索引擎，能够达到实时搜索，稳定，可靠，快速，安装方便。Elasticsearch服务会开启两个端口，9200和9300，其中9200是对外服务的，9300是对集群内交互使用的。
Logstash：日志收集工具，可以从本地磁盘，网络服务（自己监听端口，接受用户日志），消息队列中收集各种各样的日志。然后对日志进行分析整理，输出到指定的输出，（如elasticsearch、redis、终端等。）监听9600端口。
Kibana：是一个可视化日志web展示工具，对Elasticsearch中存储的日志进行展示。监听5601端口。
在这里我直接三个组件装在同一台机器上面，也可以把他们分开。
192.168.40.15 elasticsearchlogstash kibana
由于ES与logstash都需要JDK环境，所以要先安装JDK环境，最好是安装1.8或者以上的。
# java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
安装ES：
# tar -xf elasticsearch-5.6.3.tar.gz
# mv elasticsearch-5.6.3//usr/local/elasticsearch
# cd /usr/local/elasticsearch/
##修改配置文件：
# vim config/elasticsearch.yml
node.name: elkserver
network.host: 192.168.40.15
discovery.zen.minimum_master_nodes: 1
##在配置文件末尾添加：
http.cors.enabled: true
http.cors.allow-origin: "*"##这两句是为了后面安装head插件使用的。
安装head插件
head插件能够生成集群的统计数据，并提供浏览器查询，同时还能对elasticsearch索引进行结构化查询。
cd /usr/local/elasticsearch
mkdir head
cd head
git clone https://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head/
yum install -y npm* ##安装npm命令
npm install ##运行缓慢
npm install -g grunt-cli
##修改配置文件
# vim Gruntfile.js
connect: {
server: {
options: {
port: 9100,
hostname: '0.0.0.0'， ##添加这行，冒号后面有空格
base: '.',
keepalive: true
}
}
}
##修改elasticsearch的JVM运行内存，这个可以根据需要更改，但是-Xms和-Xmx的值必须一样，不然启动报错
# vim /usr/local/elasticsearch/config/jvm.options
-Xms1g
-Xmx1g
##修改Linux最大打开文件数
vim /etc/security/limits.conf
* soft nofile 655350 ##在末尾添加
* hard nofile 655350
##这一步需要重启linux使配置生效
reboot
# ulimit -n
655350
##修改sysctl.conf文件
# vim /etc/sysctl.conf
vm.max_map_count=655350
# sysctl -p
将ES的head插件启动，然后创建普通用户，启动ES，ES只能使用普通用户启动
useradd elastic
passwd elastic
##启动head插件
# pwd
/usr/local/elasticsearch/head/elasticsearch-head
# grunt server &
##会开启9100端口。
##切换到普通用户启动elasticsearch
# chown -R elastic:elastic /usr/local/elasticsearch/
# su - elastic
Last login: Sun Jun 10 13:15:09 CST 2018 on pts/0
$ nohup /usr/local/elasticsearch/bin/elasticsearch &
2339
$ nohup: ignoring input and appending output to ‘nohup.out’
##启动成功是会开启9200，9300两个端口的。
##在浏览器打开可以利用head插件查看elasticsearch的集群及索引情况
![](http://i2.运维网.com/images/blog/201806/10/2ea5998c2fd589e6a539a5afe1b6f598.png"=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=)
安装Logstash
Logstash也是需要jdk环境，所以如果是在不同机器上部署的，需要安装jdk环境，版本可以选择和ES一样的。
# tar -xf logstash-5.6.3.tar.gz
# mv logstash-5.6.3 /usr/local/logstash
##创建日志处理文件的存放目录
mkdir /logstash
cd /logstash
##接下来是重点，也是ELK的难点吧，就是将日志进行分析，使用正则匹配过滤日志中想要的内容。
120.79.189.51 - - "POST /wp-cron.php?doing_wp_cron=1528606692.3628709316253662109375 HTTP/1.1" 499 0 "-" "WordPress/4.8; http://120.79.189.51"
这是日志中的一行，logstash的正则匹配默认是匹配一行，以回车符作为分隔符。
当然如果日志是json格式的那么就没有需要处理直接输出即可。
# cat input_flter_output.conf
input {
file {
path => "/logstash/test.log"
type => "test.log"
start_position => "beginning"
}
}
filter {
grok {
match => {
"message" => "(?\d+?\.\d+?\.\d+?\.\d+?)\s-\s-\s\[(?\d+?/\w+?/\d+?):(?\d+?:\d+?:\d+?)\s+"
}
}
}
output {
stdout {codec => rubydebug}
}
这是logstash的日志分析文件，总共分为三个大部分，input、flter、output，其中input是输入日志，这里选择的是file文件，path是文件的路径，type是文件的类型，这个可以自定义，主要用来区分每个日志，start_position是设定为beginning是指从文件的开头开始读取。
flter是处理日志的部分，使用grok这个强大的组件进行信息过滤，对于日志的正则匹配最总会以json的格式输出，所以正则匹配的格式是(?正则表达式过滤将要匹配的内容)在每个括号内创建过滤的内容，将不需要的内容放在括号外，可以一直做匹配知道日志结束，这里我只是简单匹配日志前面的ip地址和日期时间。
针对正则匹配字段详细说明：
正则匹配字段通过“(?正则表达式)”来定义，我们看到“(?\d+?\.\d+?\.\d+?\.\d+?”匹配了日志中的IP地址，然后将不需要的内容放在括号外面匹配，接着是日期和时间，使用同样的方式，然后不需要的内容放在外面因为这里我只匹配了前面的一点内容，如果有需要提取，可以一直匹配，知道这一行结束，logstash默认只会匹配日志以行作为分割，下一行又是新的一次匹配了。
output是处理输出部分，这里我只是简单输出到终端，先实验正则匹配没问题后，将输出指向elasticsearch。
##这里先看看终端的输出内容，也就是经过logstash过滤后的日志
![](http://i2.运维网.com/images/blog/201806/10/d911c12532dffb112e5090eaafa08aa9.jpg"=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=)
接下来将日志输出到elasticsearch，修改output里面的内容即可。
output {
elasticsearch { ##指定输出到ES
action => "index" ##建立索引
hosts => "192.168.40.15:9200" ##ES地址端口
index => "test_log-%{+yyyy.MM.dd}" ##索引的名称
}
stdout {codec => rubydebug}
}
然后再执行一次
/usr/local/logstash/bin/logstash -f input_flter_output.conf
安装kibana
# rpm -ivh kibana-5.6.3-x86_64.rpm
vim /etc/kibana/kibana.yml
server.host: "192.168.40.15" ##指定本地server地址
elasticsearch.url: "http://192.168.40.15:9200" ##指定elasticsearch对外服务的url
接下来就是直接在浏览器打开kibana的web界面，然后建立索引库，索引是只想elastic的，在logstash日志分析文件里面有建立了一个索引，索引的名称是test_log-${日期}这样的形式。
访问kibana：http://192.168.40.15:5601
http://i2.运维网.com/images/blog/201806/10/caa211ab564294475038cdf44b9e7ac5.png
输入相应的索引，然后建立索引库，然后就可以制作各种各样的图形分析日志，kibana提供了很多中图形，根据需要选择分析。
http://i2.运维网.com/images/blog/201806/10/7b46043ef67599d01de054e5631e260f.png
http://i2.运维网.com/images/blog/201806/10/939a65ce4479df334222c8a67f6d2ddd.png
记得ELK是实时的日志分析，所以kibana的web界面右上角的时间如果设置不好就看不到导入的日志了。
页:
[1]