elk集群安装配置详解

huazhi

　　#  一：简介
　　

　　```
　　Elasticsearch作为日志的存储和索引平台；
　　Kibana 用来从 Elasticsearch获取数据，进行数据可视化，定制数据报表；
　　Logstash 依靠强大繁多的插件作为日志加工平台；
　　Filebeat 用来放到各个主机中收集指定位置的日志，将收集到日志发送到 Logstash；
　　Log4j 直接与 Logstash 连接，将日志直接
　　Logstash（当然此处也可以用 Filebeat 收集 tomcat 的日志）。
　　```
　　

　　####  port
　　

　　```
　　Elasticsearch
　　9200:对外提供服务的 HTTP 端口
　　9300:作为交互的 TCP 端口
　　

　　Logstash
　　5000: Logstash TCP input
　　5044:用于接收来着 Filebeat 收集的日志数据
　　4569:用于接收来着 Log4j 的日志数据
　　8080:用于接收来自插件 Logstash-input-http 的日志数据
　　

　　Kibana
　　5601 端口用于 Kibana的界面
　　```
　　####  安装环境介绍：
　　

　　

　　```
　　- 系统版本
　　more /etc/redhat-release
　　CentOS Linux release 7.2.1511 (Core)
　　

　　- 系统内核
　　uname -a
　　Linux yunwei-ts-100-71 3.10.0-327.13.1.el7.x86_64 #1 SMP Thu Mar 31 16:04:38 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux
　　

　　- java 版本
　　java -version
　　openjdk version "1.8.0_101"
　　OpenJDK Runtime Environment (build 1.8.0_101-b13)
　　OpenJDK 64-Bit Server VM (build 25.101-b13, mixed mode)
　　

　　

　　- 如果版本过低，或者没有安装执行命令如下：
　　yum install  java-1.8.0-*
　　注意: Logstash需要Java 8或更高版本.可以使用
　　http://www.oracle.com/technetwork/java/javase/downloads/index.html
　　[oracle官方版本] 或者使用开源版本OpenJDK: http://openjdk.java.net/.
　　```
　　

　　

　　#### 二：集群安装配置
　　

　　

　　```
　　- 测试集群规划
　　主机名                    IP地址
　　yunwei-ts-100-70      172.16.1.70
　　yunwei-ts-100-71      172.16.1.71
　　yunwei-ts-100-111     172.16.1.111
　　

　　- 软件版本：
　　elasticsearch 2.4.1
　　logstash.noarch 1:2.3.4-1
　　filebeat-1.2.3
　　kibana.x86_64 0:4.5.3-1
　　```
　　

　　### 安装部署elasticsearch集群
　　##### 简介
　　ElasticSearch原生支持Cluster模式，节点之间通过单播或多播进行通信；ElasticSearch Cluster能自动检测节点的增加、失效和恢复，并重新组织索引。
　　##### ELK的工作原理：
　　使用多播进行机器发现同一个集群内的节点，并汇总各个节点的返回组成一个集群，主节点要读取各个节点的
　　状态，在关键的时候进行数据的恢复，主节点会jian'shi监视各个节点的状态，并决定每个分片的位置，通过ping的request检测各失效的节点。
　　##### elasticsearch的基本结构认识
　　```
　　以mysql数据库为实例对应理解：
　　

　　mysql 数据库databases    表tables       行rows                列columns
　　es   索引indices         类型types     文档documents          字段fields
　　```
　　##### elasticsearch中所说的索引容易混淆，3种含义：
　　```
　　1. 索引（名词） 如上面类比，一个索引(index)就好比是mysql中的数据库，它是存储数据的地方。
　　2. 索引（动词）表示把一个文档存储到索引（名词）里。
　　3. 倒排索引 好比mysql为特定列增加一个索引。
　　

　　-   和mysql类似，每个库都得有表，还有表的结构。es的每一个索引都有个类型，而每个type（类型）得有个mapping (映射)。mapping就像是mysql中的表结构， 他将每个字段匹配为一种确定的数据类型(string,date等)。
　　-   你可以向已有映射中增加字段，但你不能修改它。如果一个字段在映射中已经存在，这可能意味着那个字段的数据已经被索引。
　　-   如果你改变了字段映射，那已经被索引的数据将错误并且不能被正确的搜索到.为了提高搜索的效率，es使用倒排索引来做全文搜索。通过analyzer（分词器）先把需要分析的文本，表征化为适合的term（词），然后标准化这些term，使他们容易被搜索到。（比如说模糊大小写，空格等等）
　　```
　　##### 集群规划
　　```
　　主机名           IP                     集群服务
　　yunwei-ts-100-70  172.16.100.70         (elasticsearch)
　　yunwei-ts-100-70  172.16.100.71         (elasticsearch)
　　yunwei-ts-100-70  172.16.100.111        (elasticsearch)
　　

　　软件版本: 2.4.1-1
　　```
　　

　　#### 安装 Elasticsearch
　　

　　###### 添加yum 签名key，
　　

　　rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
　　

　　###### 添加 elasticsearch.repo 到 /etc/yum.repos.d/ 目录
　　

　　```
　　cat >/etc/yum.repos.d/elasticsearch.repo