ELKStack篇(1)——ElasticSearch篇
1.没有日志分析系统1.1运维痛点1.运维要不停的查看各种日志。2.故障已经发生了才看日志(时间问题。)
3.节点多，日志分散，收集日志成了问题。
4.运行日志，错误等日志等，没有规范目录，收集困难。1.2环境痛点1.开发人员不能登陆线上服务器查看详细日志。
2.各个系统都有日志，日志数据分散难以查找。
3.日志数据量大，查询速度慢，数据不够实时。1.3解决痛点1.收集（Logstash）
2.存储（Elasticsearch、Redis、Kafka）
3.搜索+统计+展示（Kibana)
4.报警，数据分析（Zabbix）2.ElkStack介绍对于日志来说，最常见的需求就是收集、存储、查询、展示，开源社区正好有相对应的开源项目：logstash（收集）、elasticsearch（存储+搜索）、kibana（展示），我们将这三个组合起来的技术称之为ELKStack，所以说ELKStack指的是Elasticsearch、Logstash、Kibana技术栈的结合，一个通用的架构如下图所示：
ELK架构图
3.ElkStack环境1.node1和node2为elasticsearch集群(不部署Logstash)
2.node3收集对象,Nginx、java、tcp、syslog等日志
3.node4将logstash日志写入Redis,减少程序对elasticsearch依赖性，同时实现程序解耦以及架构扩展。
4.被收集主机需要部署Logstash。
主机名IPJVM内存服务
node1.com192.168.90.20132G64GElasticsearch、Kibana
node2.com192.168.90.20232G64GElasticsearch、Kibana
node3.com192.168.90.20332G64GLogstash、服务及程序日志
node4.com192.168.90.20432G64GLogstash、Redis(消息队列)
4.ElkStack部署Elasticsearch、需要Java环境，所以直接使用yum安装。1.安装java# yum install java# java -versionopenjdk version "1.8.0_101"OpenJDK Runtime Environment (build 1.8.0_101-b13)OpenJDK 64-Bit Server VM (build 25.101-b13, mixed mode)2.下载并安装GPG key# # rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch3.添加elasticsearch、logstash、kibana的yum仓库# 添加elasticsearch的yum仓库# cat /etc/yum.repos.d/elasticsearch.reponame=Elasticsearch repository for 2.x packagesbaseurl=http://packages.elastic.co/elasticsearch/2.x/centosgpgcheck=1gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearchenabled=1name=Elastic repository for 5.x packagesbaseurl=https://artifacts.elastic.co/packages/5.x/yumgpgcheck=1gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearchenabled=1autorefresh=1type=rpm-md4.安装ElasticSearch# yum install -y elasticsearch# yum install -y logstash# yum install -y kibana5.yum安装需要配置limits# vim /etc/security/limits.confelasticsearch soft memlock unlimitedelasticsearch hard memlock unlimited4.1配置Elasticsearch# mkdir -p /data/es-data #创建es数据目录# chown -R elasticsearch.elasticsearch /data/es-data/ #授权# grep '^' /etc/elasticsearch/elasticsearch.ymlcluster.name: elk-cluter #集群名称node.name: linux-node1#节点的名称path.data: /data/es-data #数据存放路径path.logs: /var/log/elasticsearch/#日志存放日志bootstrap.mlockall: true #不使用swap分区,锁住内存network.host: 192.168.90.201 #允许访问的IPhttp.port: 9200#elasticsearch访问端口4.2运行Elasticsearch1.启动elasticsearch# systemctl start elasticsearch2.访问:elasticsearch_url: "http://es-mon-1:9200"{ "name" : "linux-node1", "cluster_name" : "elk-cluter", "version" : { "number" : "2.3.5", "build_hash" : "90f439ff60a3c0f497f91663701e64ccd01edbb4", "build_timestamp" : "2016-07-27T10:36:52Z", "build_snapshot" : false, "lucene_version" : "5.5.0" }, "tagline" : "You Know, for Search"}4.3Elasticsearch插件1.安装Elasticsearch集群管理插件# /usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head访问head集群插件:http://ES_IP:9200/_plugin/head/
es_head插件
2.安装Elasticsearch监控插件# /usr/share/elasticsearch/bin/plugin install lmenezes/elasticsearch-kopf访问kopf监控插件:http://ES_IP:9200/_plugin/kopf
kopf监控插件
4.4elasticsearch集群1.linux-node2配置一个相同的节点，通过组播进行通信，会通过cluster进行查找，如果无法通过组播查询，修改成单播即可# grep "^" /etc/elasticsearch/elasticsearch.ymlcluster.name: elk-cluternode.name: linux-node2path.data: /data/es-datapath.logs: /var/log/elasticsearch/bootstrap.mlockall: truenetwork.host: 0.0.0.0http.port: 9200discovery.zen.ping.unicast.hosts: ["192.168.90.201","192.168.90.202"] #单播（配置一台即可，生产可以使用组播方式）
页:
[1]