ELK+filebeat+kafka+zookeeper构建海量日志分析平台

tangbinde

　　

　　海量日志分析平台，由ElasticSearch、Logstash，Kiabana，filebeat，kafka，zookeeper等多个开源工具构建而成
　　平台构建后可以大大减轻运维人员对于日志管理的负担，检索方便，定位问题快捷。

　　

　　1,本平台参考的建构图如下：
　　
　　上面架构图分为五层，详细解释如下：
　　
　　第一层、数据采集层
　　最左边的是业务服务器集群，上面安装了filebeat做日志采集，同时把采集的日志分别发送给两个logstash服务。
　　第二层、数据处理层，数据缓存层
　　logstash服务把接受到的日志经过格式处理，转存到本地的kafka broker+zookeeper 集群中。
　　第三层、数据转发层
　　这个单独的Logstash节点会实时去kafka broker集群拉数据，转发至ES DataNode。
　　第四层、数据持久化存储
　　ES DataNode 会把收到的数据，写磁盘，建索引库。
　　第五层、数据检索，数据展示
　　ES Master + Kibana 主要 协调 ES集群，处理数据检索请求，数据展示。
　　本示例参考上面架构图，并进行了简化，去除了单独的es master层， kibana展示放在两节点的es集群上，logstash+kafka+zookeeper用两节点集群（生产建议用3--4节点），elasticsearch也采用两节点集群（生产建议2--4节点），filebeat放在随意的生产日志的机器上，具体机器分布如下：
　　
　　

　　2,系统环境及软件准备
　　系统版本centos7最小化安装，配置好网络能访问外网，关闭防火墙，配置基础环境及java环境
　　网络自行配置
关闭防火墙
setenforce 0
systemctl stop firewalld
systemctl disable firewalld
sed -i 's/enforcing/disabled/g' /etc/selinux/config


设置yum源
yum install wget -y
cd /etc/yum.repos.d/
wget http://mirrors.aliyun.com/repo/Centos-7.repo
wget http://mirrors.aliyun.com/repo/epel-7.repo
yum -y install epel-release
yum install net-tools -y
yum install tree -y
yum install lrzsz -y

yum install vim-enhanced -y
yum install yum -y install bzip2-x86_64


安装配置jdk环境
　　打开网页 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

　　下载jdk-8u151-linux-x64.tar.gz （不低于1.8版本）

　　
tar zxf jdk-8u151-linux-x64.tar.gz -C /usr/local/
vim /etc/profile
添加如下内容

• 　　JAVA_HOME=/usr/local/jdk1.8.0_151
  
  
• 　　PATH=$JAVA_HOME/bin:$PATH
  
  
• 　　CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  
  
• 　　export JAVA_HOME PATH CLASSPATH
  

　　
source /etc/profile
　　

　　修改系统参数(重启生效)
　　vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

　　

　　vim /etc/sysctl.conf
添加下面配置：
vm.max_map_count=655360
并执行命令：
sysctl -p

　　vi /etc/security/limits.d/90-nproc.conf
* soft nproc 2048
　　添加用户并下载软件
　　useradd elk
　　su elk
　　cd /home/elk/
　　wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.3.1-linux-x86_64.tar.gz

　　wget https://artifacts.elastic.co/downloads/logstash/logstash-5.3.1.tar.gz

　　wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.3.1.tar.gz

　　wget https://artifacts.elastic.co/downloads/kibana/kibana-5.3.1-linux-x86_64.tar.gz

　　wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.0.0/kafka_2.12-1.0.0.tgz

　　wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz

ls -l /home/elk/
总用量 446664
-rw-r--r--  1 elk elk  33702280 4月  20 2017 elasticsearch-5.3.1.tar.gz
-rw-r--r--  1 elk elk   8769043 4月  20 2017 filebeat-5.3.1-linux-x86_64.tar.gz
-rw-r--r--  1 elk elk 189736377 2月   1 19:30 jdk-8u151-linux-x64.tar.gz
-rw-r--r--  1 elk elk  44352403 11月  1 13:39 kafka_2.12-1.0.0.tgz
-rw-r--r--  1 elk elk  38732760 4月  20 2017 kibana-5.3.1-linux-x86_64.tar.gz
-rw-r--r--  1 elk elk  94117217 4月  20 2017 logstash-5.3.1.tar.gz
-rw-rw-r--. 1 elk elk  36668066 11月  9 02:24 zookeeper-3.4.11.tar.gz　　修改安装目录权限
　　chown elk.elk /usr/local/
　　chmod 777 /usr/local/
　　3,安装es集群、head插件、kibana
　　

　　ES集群这里采用是2节点，生产建议使用3--4节点，head和kibana安装在其中一个节点上
　　192.168.1.9  elasticsearch
　　192.168.1.10 elasticsearch elasticsearch-head  kibana
　　先做elasticsearch的集群
　　su elk

　　cd /home/elk/
　　tar zxf elasticsearch-5.3.1.tar.gz -C /usr/local/
　　修改配置
　　vim /usr/local/elasticsearch-5.3.1/config/jvm.options

　　-Xms256M                    #测试机器内存较小 故修改的比较小
-Xmx256M
　　vim /usr/local/elasticsearch-5.3.1/config/elasticsearch.yml
　　1.10机器上的配置如下：
　　cluster.name: bigdata                                    #集群名字，所有节点保持一致
node.name: node-1                                        #节点名字，保持唯一性
path.data: /home/elk/data                            #数据目录   需要自行创建
path.logs: /home/elk/logs                             #日志目录   需要自行创建
　　bootstrap.memory_lock: false                        #关闭内存锁定 可以使用swap，生产上内存多可用true，限制swap的使用
bootstrap.system_call_filter: false
network.host: 0.0.0.0                                    #设置绑定ip
http.port: 9200                                              #端口
discovery.zen.ping.unicast.hosts: ["192.168.1.10","192.168.1.9"]            #集群节点ip
discovery.zen.minimum_master_nodes: 2             #这个参数来保证集群中的节点知道其它N个有master资格的节点
　　http.cors.enabled: true                                        #配置为haad插件配置
　　http.cors.allow-origin: "*"                                    #配置为haad插件配置
　　1.9机器上的配置如下：
　　cluster.name: bigdata
node.name: node-2
path.data: /home/elk/data
path.logs: /home/elk/logs
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.1.10","192.168.1.9"]
discovery.zen.minimum_master_nodes: 2
http.cors.enabled: true
http.cors.allow-origin: "*"
　　启动es集群
　　cd /usr/local/elasticsearch-5.3.1/
　　nohup ./bin/elasticsearch &
　　浏览器测试成功

　　下面安装插件elasticsearch-head
　　安装node.js环境和npm环境，grunt环境
　　安装node.js

　　wget https://npm.taobao.org/mirrors/node/latest-v4.x/node-v4.4.7-linux-x64.tar.gz
tar -zxf node-v4.4.7-linux-x64.tar.gz -C /usr/local/elasticsearch-5.3.1/plugins/
　　vim /etc/profile 增加环境变量

　　PATH=$PATH:/usr/local/elasticsearch-5.3.1/plugins/node-v4.4.7-linux-x64/bin
　　PATH=$PATH:/usr/local/elasticsearch-5.3.1/plugins/npm-4.6.1/bin
　　测试
　　[elk@master ]$ node --version
v4.4.7
　　安装npm

　　wget https://npm.taobao.org/mirrors/npm/v4.6.1.tar.gz

　　tar zxf v4.6.1.tar.gz -C /usr/local/elasticsearch-5.3.1/plugins/
　　cd /usr/local/elasticsearch-5.3.1/plugins/npm-4.6.1/
　　node cli.js install npm -gf        #安装npm
　　安装grunt

　　安装grunt命令行工具grunt-cli      npm install -g grunt-cli
安装grunt及其插件                 npm install grunt --save-dev
　　wget https://npm.taobao.org/mirrors/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2

　　tar -jxf  phantomjs-2.1.1-linux-x86_64.tar.bz2
　　下载安装head
　　cd /usr/local/elasticsearch-5.3.1/plugins/
　　git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head
npm install
npm install grunt --save
　　然后启动head
　　nohup grunt server &
　　浏览器访问192.168.1.10:9100

　　安装kibana
　　tar -zxvf kibana-5.3.1-linux-x86.tar.gz -C /usr/local/
cd /usr/local/kibana-5.3.1-linux-x86
vi config/kibana.yml
server.port: 5601
server.host: "192.168.1.10"
elasticsearch.url: http://192.168.1.10:9200
kibana.index: ".kibana.yml"
　　nohup ./bin/kibana &     #启动kibana
　　4，部署zk，kafka，logstash集群 （生产用3个以上节点为好）

　　192.168.1.6        zk kafka  logstash
　　192.168.1.7        zk kafka  logstash
　　安装zookeeper
　　cd /home/elk/
　　tar zxf zookeeper-3.4.11.tar.gz -C /usr/local/
　　cd /usr/local/zookeeper-3.4.11/
　　cp  conf/zoo_sample.cfg conf/zoo.cfg
　　vim conf/zoo.cfg    #修改配置
　　tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper-3.4.11/zkdata            #目录需要创建
dataLogDir=/usr/local/zookeeper-3.4.11/zkdatalog  #目录需要创建
clientPort=2181                                                            #端口
server.1=192.168.1.6:2888:3888                                           #测试上用两台机器，生产上最好用3台
server.2=192.168.1.7:2888:3888

　　
echo "1" > /usr/local/zookeeper-3.4.11/zkdata/myid        #1.6机器上
　　echo "2" > /usr/local/zookeeper-3.4.11/zkdata/myid        #1.7机器上
　　两台同时启动zk
　　./bin/zkServer.sh start
　　./bin/zkServer.sh status  #查看zk集群状态
　　[elk@zk1.7 zookeeper-3.4.11]$ ./bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.4.11/bin/../conf/zoo.cfg
Mode: follower
[elk@zk1.6 zookeeper-3.4.11]$ ./bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.4.11/bin/../conf/zoo.cfg
Mode: leader

安装kafka

　　cd /home/elk/
　　tar zxf kafka_2.12-1.0.0.tgz -C /usr/local/
　　cd /usr/local/kafka_2.12-1.0.0/
　　vim config/server.properties
　　broker.id=1                                                   #集群id号
port=9092                                                    #端口
host.name=192.168.1.6                            #本机ip
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/usr/local/kafka_2.12-1.0.0/kafka-logs            #日志地址
num.partitions=4
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=1
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.1.6:2181,192.168.1.7:2181            #zk集群地址
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0


　　机器1.7上的配置只需改动下面两项，其他与1.6的配置保持一致
　　broker.id=2
host.name=192.168.1.7
　　启动kafka
　　nohup bin/kafka-server-start.sh config/server.properties&
　　测试两台机器kafka是否正常
　　在1.6机器上执行   

　　创建消息主题   bin/kafka-topics.sh --create --zookeeper 192.168.1.6:2181 --replication-factor 1 --partitions 2 --topic kafkatest
　　消费消息         bin/kafka-console-consumer.sh --zookeeper 192.168.1.6:2181 --topic kafkatest --from-beginning

　　在1.7机器上执行      

　　生产消息        bin/kafka-console-producer.sh --broker-list 192.168.1.6:9092 --topic kafkatest
　　在这里输入，192.168.1.6终端上显示出来，kafka功能就正常

　　安装logstash

　　cd /home/elk/
　　tar zxf logstash-5.3.1.tar.gz -C /usr/local/
　　cd /usr/local/logstash-5.3.1/
　　vim config/jvm.options #调整内存

　　-Xms256m
-Xmx256m
vim config/logstash_in_filebeat.conf
　　input {
    beats {
        port => 5044
        }
}

output {
    kafka {
        bootstrap_servers => "192.168.1.6:9092,192.168.1.7:9092"
        topic_id => "kafkatest"
        }
}

　　两个机器配置一致

　　启动logstash
　　nohup ./bin/logstash -f config/logstash_in_filebeat.conf &

　　5，安装filebeat

　　在1.5机器上

　　cd /home/elk/
　　tar zxf filebeat-5.3.1-linux-x86_64.tar.gz -C /usr/local/
　　cd /usr/local/filebeat-5.3.1-linux-x86_64/
　　vim filebeat.yml

　　filebeat.prospectors:
- input_type: log
  paths:
    - /usr/local/nginx/logs/nginx.log
　　  multiline.pattern: ^\[
  multiline.negate: true
  multiline.match: after
output.logstash:
  hosts: ["192.168.1.6:5044"]

启动filebeat
　　nohup ./filebeat -c filebeat.yml > /dev/null &

　　

　　6，安装转发层的logstash
　　在192.168.1.8  

　　cd /home/elk/
　　tar zxf logstash-5.3.1.tar.gz -C /usr/local/
　　cd /usr/local/logstash-5.3.1/
　　vim config/jvm.options #调整内存

　　-Xms256m
-Xmx256m
vim config/logstash_to_es.conf
　　input {
    kafka {
        bootstrap_servers => "192.168.1.6:9092,192.168.1.7:9092"
        topics => ["kafkatest"]
        }
}

output {
    elasticsearch {
        hosts => ["192.168.1.10:9200"]
        index => "kafkatest-%{+YYYY.MM.dd}"
        flush_size => 20000
        idle_flush_time => 10
        template_overwrite => true
        }
}
　　启动转发

　　nohup ./bin/logstash -f config/logstash_to_es.conf &
　　登陆浏览器kibana
　　192.168.1.10:5601

　　到此整个系统已完成，剩下就是kibana的配置使用了
　　7，测试过程中遇到的错误总结

　　1、启动 elasticsearch 如出现异常  can not run elasticsearch as root  
解决方法：创建ES 账户，修改文件夹 文件 所属用户 组

2、启动异常：ERROR: bootstrap checks failed
system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk

解决方法：在elasticsearch.yml中配置bootstrap.system_call_filter为false，注意要在Memory下面:
bootstrap.memory_lock: false
bootstrap.system_call_filter: false

3、启动后，如果只有本地可以访问，尝试修改配置文件 elasticsearch.yml
中network.host(注意配置文件格式不是以 # 开头的要空一格， ： 后要空一格)
为 network.host: 0.0.0.0

默认端口是 9200
注意：关闭防火墙 或者开放9200端口

4、ERROR: bootstrap checks failed
max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]
max number of threads [1024] for user [lishang] likely too low, increase to at least [2048]

解决方法：切换到root用户，编辑limits.conf 添加类似如下内容
vi /etc/security/limits.conf
添加如下内容:
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

5、max number of threads [1024] for user [lish] likely too low, increase to at least [2048]
解决方法：切换到root用户，进入limits.d目录下修改配置文件。
vi /etc/security/limits.d/90-nproc.conf
修改如下内容：
* soft nproc 1024
#修改为
* soft nproc 2048

6、max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]
解决方法：切换到root用户修改配置sysctl.conf
vi /etc/sysctl.conf
添加下面配置：
vm.max_map_count=655360
并执行命令：
sysctl -p
然后，重新启动elasticsearch，即可启动成功。