Linux搭建ELK日志收集系统：FIlebeat+Redis+Logstash+Elasticse-qq5b42d6e10ad69的博客

懂ni

Centos7部署ELK日志收集系统
　　一、ELK概述：
　　ELK是一组开源软件的简称，其包括Elasticsearch、Logstash 和 Kibana。ELK最近几年发展迅速，已经成为目前最流行的集中式日志解决方案。

• 　　Elasticsearch: 能对大容量的数据进行接近实时的存储，搜索和分析操作。 本项目中主要通过Elasticsearch存储所有获取的日志。
  
  
• 　　Logstash： 数据收集引擎，它支持动态的的从各种数据源获取数据，并对数据进行过滤，分析，丰富，统一格式等操作，然后存储到用户指定的位置。
  
  
• 　　Kibana： 数据分析与可视化平台，对Elasticsearch存储的数据进行可视化分析，通过表格的形式展现出来。
  
  
• 　　Filebeat: 轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装Filebeat,并指定目录与日志格式,Filebeat就能快速收集数据，并发送给logstash进行解析，或是直接发给Elasticsearch存储。
  
  
• Redis：NoSQL数据库(key-value)，也数据轻型消息队列，不仅可以对高并发日志进行削峰还可以对整个架构进行解耦
  

　　传统ELK的经典框架

　　

单一的架构，logstash作为日志搜集器，从数据源采集数据，并对数据进行过滤，格式化处理，然后交由Elasticsearch存储，kibana对日志进行可视化处理。　　

　　新型ELK框架

　　

Filebeats是一种轻量级的日志搜集器，其不占用系统资源，自出现之后，迅速更新了原有的elk架构。Filebeats将收集到的数据发送给Logstash解析过滤，在Filebeats与Logstash传输数据的过程中，为了安全性，可以通过ssl认证来加强安全性。之后将其发送到Elasticsearch存储，并由kibana可视化分析。　　

　　二、新型ELK搭建详细过程
　　实验环境：

主机
IP
部署程序
1
192.168.3.206
filebeat
2
192.168.3.205
redis，logstash，elasticsearch，kibana　　下面是搭建过程中所需程序安装包：
　　https://pan.baidu.com/s/1w02WtUAqh9yX4TChyMLa5Q         密码：g0p9

• 　　客户端部署filebeat：
  　　
  
  yum -y install filebeat　　
  
  #查看配置文件所在位置　　
  rpm -qc filebeat
  　　
  
  
  
• 修改配置文件使filebeat获取的日志进入redis：　　注：此处演示获取spring cloud框架中eureka日志，其他程序日志都可相同方法获取
  
  

　　

vim /etc/filebeat/filebeat.yml　　

#修改的内容有一家几个字段　　
enabled：true
　　
paths：程序日志路径
　　
output.redis：日志输出地方
　　hosts：redis所在服务器IP
　　port：redis端口
　　key：redis中的key
　　

• 源码安装redis：
  

　　解压redis程序包：
　　

tar zxf redis-3.2.9.tar.gz –C /usr/local/src　　

　　编译redis：
　　

cd /usr/local/src/redis-3.2.9　　
make && make install
　　
ln –s /usr/local/src/redis-3.2.9 /usr/local/redis
　　

　　注：redis安装时有的缺少语言环境会出错，有的会出现奇奇怪怪的问题，只要复制Error到往上搜索下就能轻易解决，在此不多做解释
　　修改redis配置文件：
　　

vim /usr/local/redis/redis.conf　　
#修改内容如下：
　　
daemonize yes                           #开启后台运行
　　
timeout 120                                #超时时间
　　
bind 0.0.0.0                                #任何地址IP都可以登录redis
　　
protected-mode no                     #关闭redis保护机制否则在没有密码校验情况下redis远程登录失败
　　

　　注：此处是做演示，如果是线上部署elk建议开启持久化机制，保证数据不丢失

• 　　登录测试redis是否可以正常写入数据：
  
  
  
  
  
• 启动filebeat看看redis是否能接收到数据：
  

　　启动filebeat：
　　

systemctl start filebeat　　

• 　　进入redis查看是否有数据：
  　　
  
  #执行命令：　　
  keys *                          #查看所有key，此操作为慢查询，若redis跑了大量线上业务请不要进行此操做
  　　
  lrange eureka-log 0 -1 #查询key所有数据，若filebeat启动时间过长请勿进行此操作
  　　
  
  
  
  
  
  
• 安装jdk1.8：
  

　　解压jdk安装包并创建软连接：
　　

tar zxf /usr/local/src/jdk-8u131-linux-x64.tar.gz –C /usr/local/　　
ln -s /usr/local/jdk1.8.0_91/ /usr/local/jdk
　　

　　配置环境变量：
　　

vim /etc/profile　　
#修改内容如下：
　　
JAVA_HOME=/usr/local/jdk
　　
export JRE_HOME=/usr/local/jdk/jre

　　
export>　　
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
　　

　　重新载入环境变量：
　　

source /etc/profile　　

　　查看jdk是否安装成功：
　　

java -version　　

• 安装Elasticsearch：
  

　　解压安装包并改名：
　　

unzip elasticsearch-5.6.3.zip -d /usr/local/　　
mv /usr/local/ elasticsearch-5.6.3 /usr/local/elasticsearh
　　

　　修改ES配置文件：
　　

vim /usr/local/elasticsearch/config/elasticsearch.yml　　

　　
#这里指定的是集群名称，需要修改为对应的，开启了自发现功能后，ES会按照此集群名称进行集群发现
　　
cluster.name: my-application
　　
node.name: node-1
　　

　　
#目录需要手动创建
　　
path.data: /opt/elk/data
　　
path.logs: /opt/elk/logs
　　

　　
#ES监听地址任意IP都可访问
　　
network.host: 0.0.0.0
　　
http.port: 9200
　　

　　
#若是集群，可在里面引号中添加，逗号隔开
　　
discovery.zen.ping.unicast.hosts: [“192.168.3.205”]
　　

　　
# enable cors，保证_site类的插件可以访问es
　　
http.cors.enabled: true             #手动添加
　　
http.cors.allow-origin: “*”         #手动添加
　　

　　
# Centos6不支持SecComp，而ES5.2.0默认bootstrap.system_call_filter为true进行检测，所以导致检测失败，失败后直接导致ES不能启动
　　
bootstrap.memory_lock: false        #手动添加
　　
bootstrap.system_call_filter: false     #手动添加
　　

　　注：ES启动的时候回占用特别大的资源所以需要修改下系统参数,若不修改资源启动会异常退出

• 修改系统参数：
  

　　

vim /etc/sysctl.conf　　
#添加参数
　　
vm.max_map_count=655360
　　

　　重新载入配置：
　　

sysctl –p　　

• 修改资源参数：
  

　　

vim /etc/security/limits.conf　　
#修改
　　

　　
*   soft    nofile  65536
　　
*   hard        nofile  131072
　　
*   soft        nproc   65536
　　
*   hard        nproc   131072
　　

　　如：

• 设置用户资源参数：
  

　　

vim /etc/security/limits.d/20-nproc.conf　　
#添加
　　
elk     soft    nproc       65536
　　

• 　　创建用户并赋权：
  　　
  
  useradd elk　　
  groupadd elk
  　　
  useradd elk -g elk
  　　
  
  
  
• 创建数据和日志目录并修改目录权限：
  

　　

mkdir –pv /opt/elk/{data,logs}　　
chown –R elk:elk /opt/elk
　　
chown –R elk:elk /usr/local/elasticsearch
　　

• 切换用户并后台启动ES：(elk用户修改了资源参数，如不切位elk用户启动会暴毙)
  

　　

su elk　　
nohup /opt/app/elasticsearch-5.6.3/bin/elasticsearch >> /dev/null 2>&1 &
　　

• 查看ES状况：　　方法一、
  　　curl 'http://[ES IP]:9200/_search?pretty'
  
  

　　方法二、
　　#网页访问：
　　http://[ES IP]:9200/_search?pretty

• 安装logstash：
  

　　解压并创建软连接：
　　

tar /usr/local/src/logstash-5.3.1.tar.gz –C /usr/local/　　
ln –s /usr/local/logstash-5.3.1 /usr/local/logstash
　　

　　测试logstash是否可用：
　　

/usr/local/logstash/bin/logstash -e 'input { stdin { } } output { stdout {} }'　　

　　在此创建主配文件进行测试：
　　

vim /usr/local/logstash/config/logstash-simple.conf　　
#内容如下：
　　
input { stdin { } }
　　
output {
　　stdout { codec=> rubydebug }
　　
}
　　

　　使用logstash参数-f读取配置文件进行测试：
　　

/usr/local/logstash/bin/logstash -f /usr/local/logstash/config/logstash-simple.conf　　

　　此时说明我们的logstash是完全没有问题了，可以进行日志收集了

• 创建配置文件获取redis日志的数据：
  

　　配置文件如下：
　　

vim /usr/local/logstash/config/redis-spring.conf　　
input {
　　redis {
　　port => "6379"
　　host => "192.168.3.205"
　　data_type => "list"
　　type => "log"
　　key => "eureka-log"
　　}
　　
}
　　
output {
　　elasticsearch {
　　hosts => "192.168.3.205:9200"
　　index => "logstash1-%{+YYYY.MM.dd}"
　　}
　　
}
　　

　　通过配置文件启动服务查看效果：
　　

/usr/local/logstash/bin/logstash -f /usr/local/logstash/config/redis-spring.conf　　

　　结果如下：

　　此时我们再去查看reids中key：（此时已经没有数据了，数据已经被logstash取完）

• 使用curl 查看ES是否接受到数据
  

　　

curl http://192.168.3.205:9200/_search?pretty　　

　　结果如下：

　　此时说明我们logstash从redis中取数据，在把数据推到ES中是ok的！

• 安装ES插件：（elasticsearch-head）
  

　　注：head安装需要从国外网站拉去东西，可能网速过慢导致安装失败（可以多试几次），下面有几种方法安装：
　　

方法一、　　
导入node-v8.2.1.tar.gz phantomjs-2.1.1-linux-x86_64.tar.bz2 安装包
　　
安装node：
　　
tar zxvf node-v8.2.1.tar.gz
　　
cd node-v8.2.1/
　　
./configure && make && make install
　　

　　
安装phantomjs：
　　
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
　　
cd phantomjs-2.1.1-linux-x86_64/bin/
　　
cp phantomjs /usr/local/bin/
　　

　　
导入es-head程序包并解压：
　　
unzip master.zip –d /usr/local/
　　
cd elasticsearch-head/
　　
npm install
　　
npm run start &
　　

　　
查看端口状态：（端口默认9100）
　　
netstat –anpt | grep 9100
　　

　　
方法二、
　　
git clone git://github.com/mobz/elasticsearch-head.git
　　
cd elasticsearch-head
　　
npm install
　　
npm run start
　　
netstat –anpt | grep 9100
　　

　　
方法三、
　　
拉镜像：
　　
docker push mobz/elasticsearch-head:5
　　
启动镜像：
　　
docker run -p 9100:9100 mobz/elasticsearch-head:5
　　
web访问测试：
　　
http://IP:9100
　　

• Elasticsearch-head安装成功Web访问结果如下：
  
  
  
  

　　查看刚刚从logstash推到ES中的数据：

• 安装kibana
  

　　解压并安装kibana：
　　

tar -zxvf /usr/local/src/kibana-5.3.1-linux-x86_64.tar.gz -C /usr/local/　　

　　修改kibana配置文件：
　　

vim /usr/local/kibana-5.3.1-linux-x86_64/config/kibana.yml　　
修改内容如下：
　　
server.port: 5601                                                            #开启默认端口5601
　　
server.host: “192.168.3.205”                                    #kibana站点IP
　　
elasticsearch.url: http://192.168.3.205:9200        #只想ES服务所在IP Port
　　
kibana.index: “.kibana”
　　

　　后台启动kibana：
　　

nohup /usr/local/kibana-5.3.1-linux-x86_64/bin/kibana >> /dev/null 2>&1 &　　

　　查看端口监听：
　　

netstat –anot | grep 5601　　

　　结果如：（此结果表示kibana启动成功）

　　使用Web访问kibana：
　　

http://[Kibana IP]:5601　　

　　初次访问结果如：（刚访问的时候没有创建索引所以没有看不到数据）

　　根据logstash配置文件中index设置索引：
　　首先查看logstash中的index：

　　Kibana中创建index：

　　下面按照1,2,3,4顺序进行设置：

　　此时我们在返回Discover在里面我们就可以看到数据了：

　　有志者事竟成，破釜沉舟，百二秦关终属楚；
　　苦心人天不负，卧薪尝胆，三千越甲可吞吴；
　　至此我们的ELK就安装OK了！！！！！！！！！！！